Au récent Conférence internationale sur les représentations de l’apprentissage (ICLR), des équipes de recherche de plusieurs entreprises technologiques, dont Google, Microsoft, IBM, Facebook, et Amazone, a présenté près de 250 communications sur une total de 860 sur une grande variété de sujets d’IA liés à l’apprentissage en profondeur.

La conférence s’est tenue en ligne début mai et comportait un « 24 heures sur 24 » programme de conférences en direct et de sessions de questions-réponses, en plus de vidéos préenregistrées pour tous les articles acceptés. Chaque jour de la conférence de quatre jours a comporté deux Conférences invitées de chercheurs de premier plan en apprentissage en profondeur. Bien que la plupart des articles émanent du monde universitaire, de nombreuses entreprises technologiques de premier plan étaient bien représentées par leurs chercheurs en IA : Google a contribué plus de 100 papiers, dont plusieurs gagnants Papier exceptionnel récompenses, Microsoft 53, IBM 35, Facebook 23, Force de vente 7, et Amazone 4.

La conférence ICLR est le « premier rassemblement de professionnels dédiés à l’avancement de la branche de l’intelligence artificielle appelée apprentissage de la représentation », également connue sous le nom de l’apprentissage en profondeur. La conférence de cette année, la 9e réunion, était un événement virtuel, tout comme dernières années, en raison de la pandémie de COVID-19 ; les organisateurs de la conférence ont noté que l’événement de cette année « s’est déroulé sans heurts », car l’organisation a beaucoup appris en organisant l’événement virtuel de l’année dernière. La conférence de cette année avait 3 014 soumissions, contre 2 604 en 2020, et 6 194 enregistrements de plus de 60 pays, contre 5 622 l’année dernière. Au cours de la conférence d’une semaine, les diffusions en direct ont reçu 16 624 vues. Outre des présentations et des ateliers sur papier, la conférence comportait des sessions de mentorat virtuelles ad hoc qui ont permis aux participants de discuter de sujets spécifiques sur l’IA ou de « la vie de la recherche en général ».

Des chercheurs de Google AI Research et de la filiale de Google DeepMind ont rédigé plus de 100 articles, dont quatre des huit lauréats des prix Outstanding Paper. L’un des articles de DeepMind, EigenGame : PCA comme équilibre de Nash, a été mis en avant sur le blog DeepMind. L’article décrit une nouvelle approche multi-agents compétitive pour résoudre d’anciens problèmes, tels que analyse des composants principaux (APC). Selon les auteurs de l’article,

[W]ous avons découvert que la perspective multi-agents nous a permis de développer de nouvelles connaissances et de nouveaux algorithmes qui utilisent les dernières ressources de calcul. Cela nous a permis d’évoluer vers des ensembles de données massifs qui auraient été auparavant trop exigeants en termes de calcul, et offre une approche alternative pour une exploration future.

Plusieurs autres grandes entreprises technologiques ont également contribué des articles. Les employés de Facebook ont ​​collaboré à près de deux douzaines, dont un autre lauréat du concours Outstanding Paper, Synthèse neuronale de la parole binaurale à partir de l’audio mono, décrivant le travail de Laboratoires de réalité Facebook. Les chercheurs de Microsoft ont contribué à 53 articles, dont plusieurs itérations sur le Modèle de langage BERT et plusieurs articles sur le traitement de la vidéo et de l’image. Beaucoup de ces entreprises étaient commanditaires de l’événement en plus de contribuer au contenu. Google, Facebook, Microsoft, Amazon et Intel étaient des sponsors de niveau « Platinum » ; Intel a également contribué 8 articles et Amazon 4. Apple, IBM et Salesforce étaient des sponsors « Gold », IBM présentant également 35 articles et Salesforce 7.

Dans une discussion sur la conférence, Christopher Manning, directeur du Stanford University AI Lab tweeté un graphique montrant les mots-clés les plus populaires dans les articles soumis. Il a noté que le graphique montrait :

L’incroyable ascension de l’apprentissage par renforcement ! (Avec les réseaux de neurones graphiques et le méta-apprentissage à la poursuite. ConvNets ? Fatigué.)

Beaucoup de la conférence papiers avec le code qui y sont utilisés sont disponibles sur Papers with Code. Des vidéos de présentations papier sont disponibles sur SlidesLive.