Quantmetry : de la preuve de conception à l’industrialisation

Compte-rendu de l'intervention du 23 février 2016 au cours du séminaire du Mastère Spécialisé® Big Data, avec la participation d’Emmanuel Manceau, de Nina Bertrand et d’Ysé Wanono de Quantmetry.

Quantmetry est une entreprise de conseil en Data Science. Sa mission est de rendre les entreprises autonomes et indépendantes dans la maîtrise de la donnée. Elle intervient dans les différentes étapes d'un projet Big Data, du cadrage jusqu'au conseil en industrialisation et mise en production, en passant par la conception d'un projet expérimental.

Aujourd’hui, plus de 80% des initiatives Big Data s’arrêtent au niveau d’une preuve de concept (proof of concept, POC). Cependant, la création de valeur se fait principalement une fois les solutions mises en productions. Le défi majeur est ainsi cette mise en production du projet suivi du passage à l'échelle. Historiquement, les POC se concentraient plutôt sur la résolution d’un problème donné, en anticipant insuffisamment la mise en production de cette solution. Aujourd’hui la méthode de Quantmetry vise à trouver un compromis plus juste entre prototypage et industrialisation.

Cette évolution se traduit par le passage d’une logique de Data Lab à une logique de Data Fab. En effet, un Data Fab s’engage à déployer un produit et pas seulement à tester une idée expérimentalement. Accompagner un Data Fab nécessite donc des corps de métiers supplémentaires chez Quantmetry : des data architects et des data engineers afin de prendre en charge la mise en production, et permettre aux gestionnaires de programme de conduire le changement et faire adhérer les utilisateurs au sein de son organisation.

Au niveau du POC, tout commence par des contraintes de budget et de temps. Il est préférable de lancer plusieurs POC et non un seul, afin d'avoir une chance qu'au moins l'un d’eux aboutisse à une industrialisation. La présence d'échecs est normale car elle est indissociable de l'innovation. Il faut donc se laisser la liberté d'arrêter un POC en cours de conception si celui-ci n'est plus viable. En effet dans cette phase exploratoire, les objectifs se redéfinissent, les équipes montent en compétence et les obstacles technologiques et pratiques se révèlent.

Afin de réussir l’industrialisation, iI est recommandé d’utiliser des méthodes appropriées. En employant les méthodes séquentielles ou agiles, le “dernier kilomètre”  du déploiement est souvent problématique. Ainsi Quantmetry recommande fortement de pratiquer l’intégration continue, et l'automatisation de la mise en production  en adoptant une méthodologie « DevOps ».

Enfin, il est souvent nécessaire de savoir gérer la vie quotidienne des modèles. Pour illustrer ce point, Quantmetry mentionne l’exemple d’un modèle de détection de fraudes calibré par apprentissage automatique. Le modèle va permettre de mettre hors d’état de nuire les fraudeurs les moins performants. La diminution de la fraude “basique” avec le temps va dénaturer la base d’apprentissage qui ne contiendra plus assez de fraudeurs. Par conséquent, la performance de ce modèle risque de se dégrader. Pallier ce genre de situations nécessite un savoir-faire réel en machine learning afin d’employer des algorithmes suffisamment robustes, savoir-faire dont dispose Quantmetry.

En savoir plus : www.quantmetry.com

Compte rendu rédigé par les étudiants du Mastère Spécialisé® Big Data : Pierre-Yves Casanova et Gilles Legoux.