Il ne suffit pas qu’un algorithme indique aux vendeurs quels clients cibler, il faut leur raconter pourquoi
La question de l’explicabilité des algorithmes n’est pas qu’un enjeu d’éthique et de transparence, il en va aussi de leur adoption et de leur utilité. Les data scientists de Linkedin en ont fait l’expérience avec un outil de recommandation développé pour leurs commerciaux. Dans un blog, ils décrivent comment ils ont créé un système annexe, qui explique de manière conviviale aux vendeurs pourquoi l’algorithme leur recommande de cibler plutôt telle entreprise cliente avec plutôt telle offre de service de recrutement.
Les ingénieurs de Linkedin ont conçu un outil de recommandation pour leurs forces de ventes, leur indiquant quels clients cibler tant pour leur proposer de nouveaux produits de recrutement (upselling) que pour réduire la perte de clients (churn). La solution évite aux vendeurs de passer beaucoup de temps dans l’analyse de leurs clients respectifs, explique Jiley Yang, Senior Machine Learning Engineer, sur le blog d'ingénierie de Linkedin.
Dénommé «Project Account Prioritizer», le système permet de différencier les entreprises clientes selon la probabilité qu’elles achètent davantage de services de recrutement ou au contraire arrêtent de les consommer, il prédit le degré de cette probabilité et les offres les plus susceptibles d’être affectées/proposées. Pour entraîner les modèles, les ingénieurs de Linkedin ont exploité l’historique de vente des entreprises clientes et cherché des patterns en termes de canal d’achat, d’utilisation des produits, de recrutement, de secteur et surtout de valeur obtenue, c’est-à-dire de recrutements réalisés via Linkedin. Au final, les modèles qu’ils ont développés atteignent de bonnes performances (entre 0,73 et 0,81 de précision et de rappel*).
Les vendeurs veulent comprendre
En sollicitant le feedback des vendeurs, les ingénieurs de Linkedin concluent que, dans 80% des cas, les prédictions des modèles correspondent à l’estimation des vendeurs sur la base de leur connaissance de terrain et de leur intuition. Mais il est surtout apparu que les vendeurs n’étaient pas satisfaits des recommandations fournies par l’outil: «Bien que cette approche basée sur le machine learning soit très utile, nous avons constaté, à partir de focus groups, que les scores ne constituaient pas à eux seuls l'outil le plus utile pour nos représentants commerciaux. Ils voulaient surtout comprendre les raisons sous-jacentes aux scores - par exemple, pourquoi le score du modèle était plus élevé pour le client A mais plus faible pour le client B - et ils voulaient également pouvoir vérifier le raisonnement sur la base de leurs propres connaissances du domaine», explique Jiley Yang.
Générateur d’explications
Plusieurs techniques permettent d’expliquer comment un algorithme arrive à sa décision, notamment LIME et SHAP. Ces techniques d’interprétation fournissent typiquement des indications sur les données et caractéristiques ayant le plus pesé dans la prévision de l’algorithme. Le problème c’est que cet output est bien peu digeste pour des laïcs. L’équipe de Jiley Yang a ainsi décidé de développer un outil d’explication annexe baptisé CrystalCandle.
Développée sur Apache Spark, la solution a ceci d’original, qu’elle traduit l’interprétation technique du modèle en un texte explicatif bien plus compréhensible, à l’aide d’un «générateur narratif». Outre la traduction des caractéristiques des données en termes compréhensibles, ce générateur les regroupe en catégories, exploite des templates narratifs, et priorise les explications les plus importantes à fournir à l’utilisateur.
Pipeline de CrystalCandle. L’outil sert de passerelle entre les modèles de machine learning (l’outil de recommandation Project Account Prioritizer) et les utilisateurs finaux, c’est-à-dire les commerciaux.
Au final, la solution produit donc des explications digestes qui peuvent être exportées dans différents systèmes. Dans le cas de l’outil de recommandation Project Account Prioritizer, les vendeurs voient s’afficher leurs clients avec leurs scores respectifs (prédiction de churn/upselling) directement dans le CRM - l’outil MyBook de Microsoft Dynamics. Un bouton leur permet ensuite de faire apparaître un pop-up avec le texte explicatif produit par CrystalCandle. Le texte s’apparente typiquement à ceci:
Selon le blog de Linkedin, les résultats sont très concluants et l’outil de recommandation associé à son outil explicatif ont eu un impact important sur les ventes. La croissance des renouvellements a notamment augmenté de 8%.
Ce que ne mentionne pas Linkedin dans son blog, c’est que les explications sur les algorithmes ont aussi pour vertu d’instaurer une relation plus équilibrée entre l’IA et l’utilisateur. Les vendeurs qui exploitent des recommandations dont ils savent comment elles sont calculées, sont davantage en capacité de se fier aux modèles ou au contraire de s’en écarter sur la base de leur expérience et de leurs connaissances particulières. Et cette capacité critique évite qu’à force de s’orienter sur ce que préconise l’algorithme, ils ne finissent par perdre en savoir-faire et en intuition…
(*) Précision et rappel
Précision: la proportion d’items corrects parmi les items identifiés. Si un test Covid a une précision de 0,7, cela signifie que 70% des personnes testées positives sont effectivement infectées (les autres 30% sont de faux positifs). Plus grande est la précision, moins il y a de cas détectés qui ne le méritaient pas, le filet est conçu pour ne pas prendre autre chose que des poissons.
Rappel: la proportion d’items identifiés, parmi tous les items corrects. Si un test Covid a un rappel de 0,8, cela signifie que 80% des personnes infectées sont identifiées comme telles par le test (les autres 20% sont de faux négatifs). Plus grand est le rappel, moins il y a de cas corrects qui ne sont pas détectés, le filet est conçu pour que les poissons ne passent pas entre les mailles.
