L’IA générative invente des choses. Il peut être biaisé. Parfois, il crache du texte toxique. Alors, peut-il être « sûr » ?

Rick Caccia, le PDG de TémoinAI, croit que oui.

« La sécurisation des modèles d’IA est un vrai problème, et c’est un problème particulièrement brillant pour les chercheurs en IA, mais c’est différent de la sécurisation de l’utilisation », a déclaré Caccia, ancien vice-président directeur du marketing chez Palo Alto Networks, à fr.techtribune.net dans une interview. « Je pense à cela comme à une voiture de sport : avoir un moteur plus puissant – c’est-à-dire un modèle – ne vous achète rien à moins d’avoir de bons freins et une bonne direction. Les commandes sont tout aussi importantes pour une conduite rapide que le moteur.

Il y a certainement une demande pour de tels contrôles parmi l’entreprise, qui, bien que prudemment optimiste quant au potentiel d’amélioration de la productivité de l’IA générative, s’inquiète des limites de la technologie.

Cinquante et un pour cent des PDG embauchent pour des rôles liés à l’IA générative qui n’existaient pas jusqu’à cette année, un IBM scrutin Trouve. Pourtant, seulement 9 % des entreprises se disent prêtes à gérer les menaces – y compris les menaces relatives à la vie privée et à la propriété intellectuelle – découlant de leur utilisation de l’IA générative, selon un Riskonnect enquête.

La plateforme de WitnessAI qui intercepte l’activité entre les employés et les modèles d’IA génératifs personnalisés utilisés par leur employeur – pas des modèles fermés derrière une API comme GPT-4 d’OpenAI, mais plutôt sur le modèle de Llama 3 de Meta – et applique des politiques et des garanties d’atténuation des risques.

« L’une des promesses de l’IA d’entreprise est qu’elle déverrouille et démocratise les données d’entreprise pour les employés afin qu’ils puissent mieux faire leur travail. Mais déverrouiller toutes ces données sensibles trop bien –– ou le fait qu’il fuie ou soit volé – est un problème.

WitnessAI vend l’accès à plusieurs modules, chacun axé sur la lutte contre une forme différente de risque d’IA générative. L’une permet aux organisations de mettre en œuvre des règles pour empêcher les membres du personnel de certaines équipes d’utiliser des outils génératifs alimentés par l’IA d’une manière qu’ils ne sont pas censés utiliser (par exemple, en posant des questions sur les rapports de résultats avant la sortie ou en collant des bases de code internes). Un autre expurge les informations propriétaires et sensibles des invites envoyées aux modèles, et met en œuvre des techniques pour protéger les modèles contre les attaques qui pourraient les forcer à sortir du script.

« Nous pensons que la meilleure façon d’aider les entreprises est de définir le problème d’une manière qui a du sens, par exemple, l’adoption sûre de l’IA, puis de vendre une solution qui résout le problème », a déclaré Caccia. « Le RSSI veut protéger l’entreprise, et WitnessAI l’aide à le faire en assurant la protection des données, en empêchant l’injection rapide et en appliquant des politiques basées sur l’identité. Le responsable de la protection de la vie privée veut s’assurer que les réglementations existantes et futures sont respectées, et nous leur donnons de la visibilité et un moyen de rendre compte des activités et des risques.

Mais il y a une chose délicate à propos de WitnessAI du point de vue de la confidentialité : toutes les données passent par sa plateforme avant d’atteindre un modèle. L’entreprise est transparente à ce sujet, offrant même des outils pour surveiller les modèles auxquels les employés accèdent, les questions qu’ils posent aux modèles et les réponses qu’ils obtiennent. Mais cela pourrait créer ses propres risques pour la vie privée.

En réponse aux questions sur la politique de confidentialité de WitnessAI, Caccia a déclaré que la plate-forme est « isolée » et cryptée pour empêcher les secrets des clients de se répandre au grand jour.

« Nous avons construit une plate-forme à latence de l’ordre de la milliseconde avec une séparation réglementaire intégrée – une conception unique et isolée pour protéger l’activité d’IA de l’entreprise d’une manière fondamentalement différente des services habituels de logiciel en tant que service multi-locataires », a-t-il déclaré. « Nous créons une instance distincte de notre plateforme pour chaque client, chiffrée avec ses clés. Leurs données d’activité d’IA sont isolées pour eux – nous ne pouvons pas les voir. »

Peut-être que cela apaisera les craintes des clients. Quant aux travailleurs inquiet sur le potentiel de surveillance de la plateforme de WitnessAI, c’est une décision plus difficile.

Les enquêtes montrent que les gens n’apprécient généralement pas que leur activité sur le lieu de travail soit surveillée, quelle qu’en soit la raison, et pensent que cela a un impact négatif sur le moral de l’entreprise. Près d’un tiers des répondants à un Forbes enquête ont déclaré qu’ils pourraient envisager de quitter leur emploi si leur employeur surveillait leurs activités et leurs communications en ligne.

Mais Caccia affirme que l’intérêt pour la plate-forme de WitnessAI a été et reste fort, avec un pipeline de 25 premiers utilisateurs d’entreprise dans sa phase de preuve de concept. (Il ne sera pas disponible avant le troisième trimestre.) Et, dans un vote de confiance des VC, WitnessAI a levé 27,5 millions de dollars auprès de Ballistic Ventures (qui a incubé WitnessAI) et GV, la branche de capital-risque de google.

Le plan est d’utiliser la tranche de financement pour faire passer l’équipe de 18 personnes de WitnessAI à 40 d’ici la fin de l’année. La croissance sera certainement la clé pour repousser les rivaux de WitnessAI dans l’espace naissant des solutions de conformité et de gouvernance des modèles, non seulement des géants de la technologie comme AWS, Google et Salesforce, mais aussi des startups telles que CalypsoAI.

« Nous avons construit notre plan pour bien avancer en 2026 même si nous n’avions aucune vente, mais nous avons déjà près de 20 fois le pipeline nécessaire pour atteindre nos objectifs de vente cette année », a déclaré Caccia. « Il s’agit de notre premier tour de financement et de notre lancement public, mais l’activation et l’utilisation sécurisées de l’IA sont un nouveau domaine, et toutes nos fonctionnalités se développent avec ce nouveau marché. »