Faut-il adopter les fonctionnalités GenAI embarquées dans les logiciels commerciaux?

«Notre logiciel a une nouvel outil basé sur l’IA générative». Cette phrase et ses variantes se retrouvent ces derniers mois dans d’innombrables communiqués envoyés par les éditeurs de logiciels à notre rédaction. Et, à n’en pas douter, de nombreux responsables des achats IT ont eu des échanges sur le sujet avec leurs fournisseurs. Entre les assistants intelligents «dotés de parole» et la génération de contenus, messages, synthèses et rapports de toutes sortes, les fonctionnalités GenAI prolifèrent dans les logiciels commerciaux (des ressources humaines au marketing en passant par les outils d'automatisation). Trois exemples: SAP vient de dévoiler l’assistant Joule qui répond aux requêtes des utilisateurs en puisant dans les données de l’ensemble des systèmes business de l’éditeur; ServiceNow lance un outil ITSM créant des résumés des incidents et de leur résolution; et Workday propose depuis peu une fonctionnalité de génération automatisée de descriptions de poste.

A cette folle dynamique du côté des offrants, correspond une adoption accélérée du côté des organisations utilisatrices. En mars, une enquête de Gartner indiquait que 19% des entreprises travaillaient sur des projets d’IA générative. Six mois plus tard, cette proportion a triplé. Et c’est bien sûr sans compter les utilisations de ChatGPT et autres Midjourney se faisant à l’insu des responsables IT, avec le risque de fuite de données confidentielles. Selon une enquête de Deloitte, en Suisse, deux personnes sur trois utilisent déjà l’IA générative pour leur travail.

Bref, entre l’emballement de leurs fournisseurs, l’omniprésence du sujet dans les médias, l’adoption par le grand public et la pression interne de proposer des outils (sans quoi on fera sans eux), les responsables IT sont sollicités. Sans compter que les cabinets de conseil sont unanimes à avertir qu’au vu des potentiels gains d’efficacité, la seule erreur serait de tergiverser. Certes, on assiste à ce phénomène avec chaque technologie en vogue – il n’y a pas si longtemps le métavers était l’objet de toutes les convoitises -, mais ce qui se produit avec l’IA générative semble sans précédent. Il est donc difficile d’y résister.

GenAI embarquée, la voie royale?

Les responsables IT ont plusieurs alternatives pour déployer de l’IA générative au sein de leur organisation. Première option, développer un modèle de langage maison répondant à leurs cas d’usage spécifiques. Encore faut-il disposer des énormes volumes de données nécessaires à l’entraînement, des compétences rares que cela requiert et de moyens financiers conséquents. McKinsey estime que le coût de revient total (TCO) se situe entre 5 et 200 millions au départ, suivi de 1 à 5 millions chaque année pour opérer et maintenir le modèle. 

Deuxième option, s’appuyer sur des modèles existants (dans le cloud ou déployés on-premise) qui iront puiser dans les données de l’entreprise, voire affiner un modèle open source pour son domaine ou ses cas d’usage. Cela reste néanmoins compliqué, cher et inabordable pour les plus petites organisations.

Au lieu de construire, on peut aussi acheter des services GenAI, via des appels à une API, via un logiciel spécifique ou via les fonctionnalités GenAI des éditeurs des logiciels auxquels on recourt déjà. Ce mode de sourcing présente plusieurs atouts: on est en terrain familier, on connaît les fournisseurs et les systèmes, les utilisateurs y sont habitués et les usages sont circonscrits. «Nous pensons que la grande majorité des déploiements utilisent actuellement l'approche "consommer ou intégrer", constate Gartner dans un rapport récent*. Lorsque les utilisateurs commencent à recourir davantage à l'ingénierie et au fine-tuning pour étendre les capacités de l'application, les solutions deviennent beaucoup plus complexes et coûteuses».

Attention aux coûts

Côté coûts, l’achat de fonctionnalités GenAI embarquées est évidemment moins cher que de construire sa propre solution. Mais ce n’est pas gratuit. Les assistants Microsoft 365 Copilot et Duet AI de Google coûteront 30 dollars par utilisateur et par mois. Gartner s’attend à des augmentations de 30% à 60% des tarifs des applications existantes pour bénéficier des fonctionnalités GenAI. 

Les analystes de Gartner soulignent aussi qu’en cas de forte adoption, les éditeurs risquent eux-mêmes de faire face à une explosion de leurs coûts, que ce soit pour faire tourner leurs propres modèles ou (le plus souvent) pour payer les fournisseurs de GenAI sur lesquels reposent leurs fonctionnalités. Tout porte à croire qu’ils répercuteront ces coûts sur la clientèle et adapteront leurs modèles tarifaires en conséquence, avec des facturations à l’usage ou des abonnements plafonnés à un certain nombre de tokens.

Les coûts pour les directions IT pourraient donc prendre l’ascenseur. Surtout si les outils prolifèrent avec des fonctionnalités GenAI dans l’ERP, dans le CRM, dans le HRM, dans les solutions bureautiques, etc. Dans un article sur le sujet, Scott Hicar, CIO de Benchmark Electronics, recommande aux responsables IT de faire preuve de prudence: «Si l’on en croit la hype de ces derniers mois, les dépenses seront facilement compensées par les gains de productivité ou la différenciation de l'expérience client générés par l'IA. Mais les CIO doivent faire preuve de prudence. Il est très probable que, quel que soit l'endroit où vous commencez à déployer votre IA, vos coûts augmenteront. Et les bénéfices ne sont pas garantis».

Gouvernance et poupées russes

L’intelligence artificielle nécessite une gouvernance solide, et c’est tout aussi vrai (voire davantage) avec l’IA générative. L’emploi de grands modèles de langage engendre en effet de nombreux risques pour les organisations. Les données et prompts transmis à la GenAI peuvent renfermer des informations protégées et/ou confidentielles qui risquent de fuiter, voire d’être exploitées à des fins d’entraînement pour se retrouver plus tard dans les réponses données à des tiers. Les erreurs et autres hallucinations dans les contenus générés automatiquement peuvent nuire à la prise de décision, mais aussi à la réputation de l’organisation quand ils sont destinés à la clientèle ou au public. Ce danger peut aussi découler de contenus biaisés ou ne correspondant pas aux normes de l’entreprise. Sans oublier le risque juridique de générer des contenus eux-mêmes nourris de contenus protégés par le droit d’auteur. Ce n’est pas pour rien que Shutterstock propose une protection juridique à la clientèle de son IA générative et que Microsoft vient de s’engager à régler l’addition de ses clients qui se verraient condamnés pour violation de copyright en raison d’un contenu généré par Copilot, «à condition que le client ait utilisé les garde-fous et les filtres de contenu que nous avons intégrés dans nos produits».

Gouverner la GenAI dans l’organisation signifie gouverner les usages et la technologie. S’agissant des usages, l’emploi de solutions embarquées validées par le département IT réduit les risques associés au Shadow AI. Toutefois, malgré l’adoption grandissante de cette technologie, la plupart des entreprises suisses ne disposent pas de consignes en la matière pour leurs utilisateurs.

S’agissant de la technologie, le fait d’acheter un outil ou une fonctionnalité «prêt-à-porter», plutôt que de construire son propre modèle sur mesure, s’accompagne inévitablement d’une perte de maîtrise. Pour réduire les risques et assurer la confiance des utilisateurs, les départements IT doivent recouvrer une certaine transparence sur la GenAI renfermée dans les solutions qu’ils déploient. Cela signifie monter en compétences IA et revoir les procédures d’achat, pour savoir quelles informations demander et quelles exigences poser à leurs fournisseurs. Pour compliquer encore la donne, les éditeurs pourraient rechigner à dévoiler les secrets de fabrication et de fonctionnement, ou les limites de leurs modèles. Sans compter que dans de nombreux cas, les éditeurs s’appuient eux-mêmes sur de grands modèles de langage non-maîtrisés développés par d’autres, qu’au mieux ils intègrent, qu’au pire ils ne font qu’appeler via des API.

(*) «Monetizing Generative AI and the Evolution in Applications», Gartner, septembre 2023