En fait, alors que The Trevor Project a utilisé des modèles d’IA open source, y compris GPT-2 d’OpenAI et Google ALBERT, il n’utilise pas d’outils conçus avec eux pour mener des conversations directement avec des enfants en difficulté. Au lieu de cela, le groupe a déployé ces modèles pour créer des outils qu’il a utilisés en interne pour former plus de 1 000 conseillers de crise bénévoles et pour aider à trier les appels et les SMS des personnes afin de prioriser les patients à haut risque et de les mettre en relation plus rapidement avec des conseillers de la vie réelle.

Le projet Trevor a peaufiné GPT-2 pour créer un simulateur de contact de crise mettant en vedette deux personnages basés sur l’IA. Nommés Riley et Drew, ces personnages basés sur l’IA communiquent en interne avec les conseillers stagiaires, les aidant à se préparer au type de conversations qu’ils auront avec de vrais enfants et adolescents.

Chaque personnage représente une situation de vie, des antécédents, une orientation sexuelle, une identité de genre et un niveau de risque de suicide différents. Riley imite un adolescent de Caroline du Nord qui se sent déprimé et anxieux, tandis que Drew est au début de ses 20 ans, vit en Californie et fait face à l’intimidation et au harcèlement.

Lancé en 2021, Riley était le premier des deux personnages. Plutôt que d’utiliser simplement des modèles GPT-2 prêts à l’emploi, l’organisation a adapté le modèle d’apprentissage profond à son objectif spécifique en le formant à l’aide de centaines de discussions de jeu de rôle entre des conseillers du personnel réels et d’un ensemble initial de données reflétant ce que quelqu’un comme Riley pourrait dire.

« Nous avons formé Riley sur plusieurs centaines de jeux de rôle Riley passés », a déclaré Dan Fichter, responsable de l’IA et de l’ingénierie chez The Trevor Project, qui a développé le personnage Riley grâce à un partenariat avec le programme de subventions de Google, Google.org. « Le modèle doit se souvenir de tout ce qui est dit et que vous avez demandé jusqu’à présent. Lorsque nous avons formé GPT sur ces conversations, nous avons obtenu quelque chose qui est très réactif de manière très fiable d’une manière que nos formateurs répondraient [to]», a-t-il dit.

Le Trevor Project, qui dispose d’une équipe technique de 30 personnes – dont certaines dédiées au travail lié à l’apprentissage automatique – a ensuite développé le personnage de Drew par lui-même.

« Lorsque les jeunes tendent la main, ils sont toujours servis par un être humain formé et attentionné qui est prêt à les écouter et à les soutenir, peu importe ce qu’ils traversent », a déclaré Fichter.

Rééducation des modèles d’IA pour la commutation de code et l’effet Texas

Bien qu’il ait déclaré que les modèles de persona sont relativement stables, Fichter a déclaré que l’organisation pourrait avoir besoin de les rééduquer avec de nouvelles données à mesure que le langage occasionnel utilisé par les enfants et les adolescents évolue pour incorporer de nouveaux acronymes, et que des événements actuels tels qu’un nouveau droit au Texas définir les soins médicaux d’affirmation de genre comme de la « maltraitance des enfants » devient un sujet de conversation, a-t-il déclaré.

« Il y a beaucoup de changement de code qui se produit parce qu’ils savent qu’ils tendent la main à un adulte [so] cela pourrait signifier qu’il y a un avantage à se recycler régulièrement », a déclaré Fichter.

Le Trevor Project a publié les données d’une enquête nationale de 2021 qui a révélé que plus de 52 % des jeunes transgenres et non binaires «sérieusement envisagé comme un suicide» au cours de la dernière année, et parmi ceux-ci, un sur cinq l’a tenté.

« Les soins de santé sont une industrie axée sur les personnes, et lorsque l’apprentissage automatique se croise avec les gens, je pense que nous devons être prudents », a déclaré Evan Peterson, ingénieur en apprentissage automatique à la société de technologie de la santé et du bien-être LifeOmic, qui a utilisé des modèles de langage open source tels que Hugging Face et Roberta, une version de BERT développée chez Facebook, pour construire des chatbots.

Pour évaluer la performance, la justice et l’équité en ce qui concerne certains groupes d’identité, le projet Trevor a évalué une variété de grands modèles de traitement du langage naturel et d’apprentissage profond linguistique avant de décider lequel convenait le mieux à des tâches particulières. Il s’est avéré que lorsqu’il s’agissait de tenir une conversation simulée et de générer le genre de phrase longue et cohérente requise pour une séance de formation de conseiller de 60 à 90 minutes, GPT-2 a obtenu les meilleurs résultats.

L’IA pour le tri des lignes d’assistance téléphonique et la hiérarchisation des risques

Mais ALBERT a obtenu de meilleurs résultats que d’autres lors du test et de la validation de modèles pour un système d’apprentissage automatique distinct Le trevor Project a construit pour aider à évaluer le niveau de risque des personnes appelant, envoyant des SMS ou discutant avec sa hotline de prévention du suicide. Le modèle d’évaluation des risques est déployé lorsque des personnes en situation de crise contactent la hotline. Sur la base des réponses aux questions d’admission de base sur l’état d’esprit et les antécédents suicidaires d’une personne, le modèle évalue son niveau de risque de suicide, en le classant avec un score numérique.

L’adaptation de grands modèles linguistiques à des fins particulières avec des ensembles de données de formation très spécifiques est l’une des façons dont les utilisateurs car The Trevor Project a profité de leurs avantages tout en prenant soin de ne pas faciliter des conversations numériques plus troublantes.

Photo : Le projet Trevor

Le modèle effectue les évaluations selon un large éventail d’énoncés avec différents niveaux de détail. Bien qu’il puisse être difficile pour les humains – et les modèles d’apprentissage en profondeur – d’évaluer le risque de suicide si quelqu’un dit simplement: « Je ne me sens pas bien », le modèle basé sur ALBERT est « assez bon » pour apprendre des termes émotionnels qui sont en corrélation avec le risque de suicide, tels que le langage décrivant l’idéation ou les détails d’un plan, a déclaré Fichter. Lors de la configuration du modèle pour catégoriser le risque, le groupe a erré du côté de la prudence en marquant quelqu’un comme présentant un risque plus élevé alors que ce n’était pas tout à fait clair, a-t-il déclaré.

Pour former le modèle d’évaluation des risques, les conseillers ont étiqueté des dizaines de milliers d’exemples anonymes et archivés de réponses de personnes aux questions d’admission, déterminant le niveau de risque clinique qui leur est associé. Si quelqu’un disait qu’il était très contrarié et qu’il avait tenté de se suicider dans le passé, par exemple, la conversation était qualifiée de haute priorité. Cette information étiquetée a formé le modèle.

Dans le passé, les conseillers humains utilisaient un système heuristique basé sur des règles pour trier les appelants, a déclaré Fichter, qui a déclaré qu’il pensait que le processus basé sur l’IA fournissait « une prédiction beaucoup plus précise ».

Se moquer des émissions de télévision (mais éviter des problèmes pires)

Le projet Trevor équilibre les avantages des grands modèles de langage avec les problèmes potentiels en limitant la façon dont ils sont utilisés, a déclaré Fichter. Il a souligné l’utilisation strictement interne des modèles de persona basés sur GPT-2 pour générer un langage à des fins de formation des conseillers, et l’utilisation du modèle d’évaluation des risques basé sur ALBERT uniquement pour hiérarchiser la rapidité avec laquelle un conseiller devrait parler à un patient.

Pourtant, les grands modèles de traitement du langage naturel open source, y compris diverses itérations du GPT d’OpenAI – transformateur génératif pré-entraîné – ont généré une réputation de usines de langage toxique. Ils ont été critiqués pour avoir produit un texte qui perpétue les stéréotypes et crache un langage méchant, en partie parce qu’ils ont été formés à l’aide de données glanées sur un Internet où un tel langage est monnaie courante. Des groupes tels qu’OpenAI travaillent continuellement à améliorer les problèmes de toxicité et de précision associés aux grands modèles de langage.

« Il y a des recherches en cours pour les ancrer afin qu’ils soient de « bons modèles citoyens » », a déclaré Peterson. Cependant, il a déclaré que les systèmes d’apprentissage automatique « peuvent faire des erreurs [and] il y a des situations où cela n’est pas acceptable.

Pendant ce temps, de grands modèles linguistiques font régulièrement irruption sur la scène. Microsoft mardi introduit de nouveaux modèles d’IA Il a déclaré avoir déployé pour améliorer les tâches de compréhension du langage commun telles que la reconnaissance des entités de noms, la synthèse de texte, la classification de texte personnalisée et l’extraction de phrases clés.

Adapter ces modèles à des fins particulières avec des ensembles de données de formation très spécifiques est l’une des façons dont les utilisateurs tels que The Trevor Project ont travaillé pour tirer parti de leurs avantages tout en prenant soin de s’assurer qu’ils ne facilitent pas des conversations numériques plus troublantes.

« Parce que nous avons pu l’affiner pour effectuer un travail très spécifique, et uniquement pour notre [Riley and Drew personas], notre modèle n’a généré aucune production offensive », a déclaré Fichter.

Lors de l’élaboration de son simulateur de contact de crise et de son modèle d’évaluation des risques, l’organisation a supprimé les noms ou d’autres informations personnellement identifiables des données qu’elle utilisait pour former les modèles de persona.

Mais la protection de la vie privée n’était pas la seule raison, a déclaré Fichter. Son équipe ne voulait pas que les modèles d’apprentissage automatique tirent des conclusions sur les personnes portant certains noms, ce qui pourrait entraîner un biais de modèle. Par exemple, ils ne voulaient pas qu’ils concluent que quelqu’un avec le nom « Jane » était toujours un intimidateur simplement parce qu’un adolescent en crise dans un scénario de jeu de rôle se plaignait de quelqu’un avec ce nom.

Jusqu’à présent, Fichter a déclaré que les personnages du simulateur de contact de crise n’avaient pas utilisé de mots inappropriés ou étranges. En général, ils peuvent simplement répondre: « Je ne sais pas », s’ils ne peuvent pas générer un langage pertinent.

Pourtant, il a déclaré que Drew – le Californien de 20 ans – s’est moqué de l’émission de compétition sur les médias sociaux de Netflix « The Circle ». « Drew s’est moqué de certaines émissions de télévision qu’il a regardées », a déclaré Fichter.