Jan Leike, un chercheur de premier plan en IA qui a démissionné d’OpenAI au début du mois avant de critiquer publiquement l’approche de l’entreprise en matière de Sécurité de l’IA, a rejoint Anthropic, son rival d’OpenAI, pour diriger une nouvelle équipe de « super-alignement ».

Dans un article sur X, Leike a déclaré que son équipe chez Anthropic se concentrera sur divers aspects de la sûreté et de la sécurité de l’IA, en particulier la « surveillance évolutive », la « généralisation faible à forte » et la recherche d’alignement automatisée.

Une source proche du dossier a déclaré à fr.techtribune.netque Leike relèvera directement de Jared Kaplan, directeur scientifique d’Anthropic, et que les chercheurs d’Anthropic travaillant actuellement sur une surveillance évolutive – des techniques permettant de contrôler le comportement de l’IA à grande échelle de manière prévisible et souhaitable – relèveront de Leike au fur et à mesure que l’équipe de Leike se développera.

À bien des égards, l’équipe de Leike ressemble à l’équipe Superalignment d’OpenAI, récemment dissoute. L’équipe Superaligning, codirigée par Leike, avait l’objectif ambitieux de résoudre les principaux défis techniques du contrôle de l’IA superintelligente au cours des quatre prochaines années, mais s’est souvent retrouvée paralysée par le leadership d’OpenAI.

Anthropic a souvent tenté de se positionner comme plus axé sur la sécurité qu’OpenAI.

Le PDG d’Anthropic, Dario Amodei, était autrefois vice-président de la recherche chez OpenAI, et se serait séparé d’OpenAI après un désaccord sur la direction de l’entreprise, à savoir l’orientation commerciale croissante d’OpenAI. Amodei a amené avec lui un certain nombre d’anciens employés d’OpenAI pour lancer Anthropic, dont l’ancien responsable de la politique d’OpenAI, Jack Clark.