Il y a plusieurs années, Jonathan Dambrot, associé chez KPMG, aidait des clients à déployer et à développer des systèmes d’IA lorsqu’il a commencé à remarquer certaines lacunes en matière de conformité et de sécurité. Selon lui, personne ne pouvait expliquer si leur IA était sécurisée – ni même qui était responsable de s’en assurer.

« Fondamentalement, les scientifiques des données ne comprennent pas les risques de cybersécurité de l’IA et les professionnels de la cybersécurité ne comprennent pas la science des données de la même manière qu’ils comprennent d’autres sujets liés à la technologie », a déclaré Dambrot à fr.techtribune.net dans une interview par e-mail. « Une plus grande sensibilisation à ces risques et à la législation sera nécessaire pour garantir que ces risques sont traités de manière appropriée et que les organisations prennent des décisions sur des systèmes d’IA sûrs et sécurisés. »

La perception de Dambrot l’a amené à présenter KPMG Studio, l’accélérateur interne de KPMG, au financement et à l’incubation d’une startup logicielle pour résoudre les défis liés à la sécurité et à la conformité de l’IA. Avec deux autres co-fondateurs, Felix Knoll (un « leader de la croissance » chez KPMG Studio) et Paul Spicer (un « propriétaire de produit » chez KPMG), et une équipe d’environ 25 développeurs et data scientists, Dambrot a créé l’entreprise – Crâne.

À ce jour, Cranium, qui se lance furtivement aujourd’hui, a levé 7 millions de dollars en capital-risque auprès de KPMG et SYN Ventures.

« Cranium a été conçu pour découvrir et fournir une visibilité sur les systèmes d’IA au niveau du client, fournir des rapports et une surveillance de la sécurité, et créer des rapports de conformité et de visibilité de la chaîne d’approvisionnement », a poursuivi Dambrot. « Le produit de base adopte une vision plus globale de la sécurité de l’IA et des risques de la chaîne d’approvisionnement. Il cherche à combler les lacunes d’autres solutions en offrant une meilleure visibilité sur les systèmes d’IA, en assurant la sécurité des principaux risques contradictoires et en offrant une visibilité sur la chaîne d’approvisionnement.

À cette fin, Cranium tente de cartographier les pipelines d’IA et de valider leur sécurité, en surveillant les menaces extérieures. Quelles menaces, demandez-vous? Cela varie selon le client, dit Dambrot. Mais certaines des plus courantes impliquent l’empoisonnement (contamination des données sur lesquelles une IA s’est entraînée) et les attaques textuelles (tromper l’IA avec des instructions malveillantes).

Cranium affirme que, travaillant dans un environnement de formation et de test de modèles d’apprentissage automatique existant, il peut s’attaquer de front à ces menaces. Les clients peuvent capturer à la fois les pipelines d’IA en développement et déployés, y compris les actifs associés impliqués tout au long du cycle de vie de l’IA. Et ils peuvent établir un cadre de sécurité IA, fournissant à leurs équipes de sécurité et de science des données une base pour construire un programme de sécurité.

« Notre intention est de commencer à disposer d’un riche référentiel de télémétrie et d’utiliser nos modèles d’IA pour être en mesure d’identifier les risques de manière proactive parmi notre clientèle », a déclaré Dambrot. « Beaucoup de nos risques sont identifiés dans d’autres cadres. Nous voulons être une source de ces données alors que nous commençons à voir une base intégrée plus large. »

C’est très prometteur, en particulier à une époque où de nouvelles menaces d’IA émergent chaque jour. Et ce n’est pas exactement un tout nouveau concept. Au moins une autre startup, HiddenLayer, promet de le faire, en défendant les modèles contre les attaques apparemment sans avoir besoin d’accéder à des données brutes ou à l’algorithme d’un fournisseur. D’autres, comme Robust Intelligence, CalypsoAI et Troj.ai, proposent une gamme de produits conçus pour rendre les systèmes d’IA plus robustes.

Cranium part de derrière, sans clients ni revenus à proprement parler.

L’éléphant dans la pièce est qu’il est difficile de cerner des exemples réels d’attaques contre des systèmes d’IA. La recherche sur le sujet a explosé, avec plus de 1 500 articles sur la sécurité de l’IA publiés en 2019 sur le site d’édition scientifique Arxiv.org, contre 56 en 2016, selon un étude d’Adversa. Mais il y a peu de rapports publics sur les tentatives de pirates informatiques pour, par exemple, attaquer les systèmes commerciaux de reconnaissance faciale – en supposant que de telles tentatives se produisent en premier lieu.

Pour ce que ça vaut, l’associé directeur de SYN, Jay Leek, un investisseur dans Cranium, pense qu’il y a un avenir dans la robustesse de l’IA. Il va sans dire qu’il le ferait bien sûr, étant donné qu’il a une participation dans l’entreprise. Pourtant, selon ses propres mots :

« Nous suivons le marché de la sécurité de l’IA depuis des années et nous n’avons jamais pensé que le moment était venu », a-t-il déclaré à fr.techtribune.net par e-mail. « Cependant, compte tenu de l’activité récente sur la manière dont l’IA peut changer le monde, Cranium se lance dans des conditions et un calendrier de marché idéaux. La nécessité d’assurer une bonne gouvernance autour de l’IA pour la sécurité, l’intégrité, les préjugés et les abus n’a jamais été aussi importante dans tous les secteurs. La plate-forme Cranium instille sécurité et confiance tout au long du cycle de vie de l’IA, garantissant que les entreprises obtiennent les avantages qu’elles espèrent tirer de l’IA tout en gérant les risques imprévus.

Cranium compte actuellement environ 30 employés à temps plein. En supposant que les affaires reprennent, il s’attend à terminer l’année avec environ 40 à 50.