La puissance de calcul croissante nécessaire à la formation de modèles d'IA sophistiqués tels que ChatGPT d'OpenAI pourrait éventuellement se heurter à un mur avec les technologies de puces traditionnelles.

Dans une analyse de 2019, OpenAI trouvé que de 1959 à 2012, la quantité d’énergie utilisée pour entraîner les modèles d’IA a doublé tous les deux ans, et que la consommation d’énergie a commencé à augmenter sept fois plus vite après 2012.

Cela crée déjà des tensions. Microsoft est aurait est confronté à une pénurie interne de matériel serveur nécessaire au fonctionnement de son IA, et cette pénurie fait grimper les prix. CNBC, s'adressant à des analystes et des technologues, estime le coût actuel de entraînement un modèle de type ChatGPT à partir de zéro pour plus de 4 millions de dollars.

Une solution proposée au dilemme de la formation en IA réside dans les puces photoniques, qui utilisent la lumière pour envoyer des signaux plutôt que l'électricité utilisée par les processeurs conventionnels. Les puces photoniques pourraient en théorie conduire à de meilleures performances d'entraînement, car la lumière produit moins de chaleur que l'électricité, peut se déplacer plus rapidement et est beaucoup moins sensible aux changements de température et aux champs électromagnétiques.

« Pour nous, une idée importante est que, pour les applications de centres de données — et c'est là que la plupart des gens pensent photonique Le calcul de l’IA serait probablement appliqué – personne n’est intéressé uniquement par l’inférence ou la formation », a déclaré Christian Patze, directeur des investissements chez M Ventures, par courrier électronique. M Ventures a soutenu Celestial AI, l'une des sociétés développant des puces accélératrices d'IA basées sur la lumière. « Une nouvelle technologie, que ce soit photonique ou électronique, doit pouvoir fonctionner aussi bien pour les deux applications, sinon il n'est pas intéressant pour les gros clients du secteur.

L'inférence, c'est-à-dire l'exécution de modèles formés, coûte assez cher. Selon un estimationChatGPT coûtait à OpenAI 100 000 $ par jour à son apogée, ce qui équivaut à 3 millions de dollars par mois.

Mais à un niveau plus fondamental, Patze n'est pas convaincu que les approches de « calcul photonique » soient la meilleure option possible pour la formation. Les puces photoniques sont physiquement plus grandes que leurs homologues électroniques et difficiles à produire en masse, notamment en raison de l'immaturité des usines de fabrication de puces photoniques. De plus, les architectures photoniques reposent encore largement sur circuits de commande électroniquesce qui peut créer des goulots d'étranglement.

« En ce qui concerne les puces photoniques, cela dépend beaucoup de l'algorithme et de la charge de travail pour la formation et de la manière dont ces algorithmes peuvent être mappés sur ceux-ci. photonique architectures de calcul », a déclaré Patze. « Les gens n'ont pas compris que le calcul de l'IA est bien plus que faire [certain operations] efficacement et que mapper des modèles d’IA avancés sur des moteurs de calcul optiques théoriquement rapides n’est pas trivial – ou plutôt très difficile.

L'autre problème avec la technologie des puces photoniques, selon Patze, est la puissance requise pour convertir les données dans un format avec lequel les puces peuvent fonctionner. Avec le matériel conventionnel à base de silicium, les données sont transférées et stockées dans le domaine numérique, alors qu'en photonique, elles sont analogiques. La conversion entre numérique et analogique nécessite des composants de convertisseur dédiés, qui ont tendance à être gourmands en énergie.

Il existe encore un autre défi non résolu en photonique : la régénération du signal, ou le processus de régénération des signaux optiques dégradés lors de la transmission via des puces photoniques. La plupart des puces effectuent une régénération du signal par conversion « optique vers électrique vers optique », dans laquelle un signal optique faible et déformé est détecté et restauré dans un matériel électronique numérique, puis retransmis vers le domaine optique. Mais cela entraîne une distorsion du signal au fil du temps, entraînant des problèmes en aval.

Pour ces raisons, entre autres, Anushree Verma, analyste chez Gartner, qui étudie les technologies et tendances émergentes, estime qu'il faudra plus de huit ans pour que l'informatique photonique devienne courante.

« Si nous pensons à un système informatique entièrement optique, il nécessite une variété de composants tels que des portes optiques, des commutateurs optiques, des mémoires optiques, des interconnexions optiques et des sources de lumière », a déclaré Verma. « La disponibilité commerciale des composants critiques pour la technologie photonique est encore très lointaine pour diverses raisons… La concentration de la clientèle ainsi que les défis technologiques ne sont pas particulièrement accueillants pour les entrants. »

Alors, y a-t-il encore un avenir dans la photonique pour l’IA ? Probablement. Cela nécessitera peut-être simplement un recadrage.

Patze considère que la photonique aide à surmonter l’un des principaux goulots d’étranglement du calcul de l’IA : fournir un accès rapide à de grandes quantités de mémoire. Pour les grands modèles d'IA comme le GPT-4 d'OpenAI, les cartes accélératrices d'IA (pensez aux puces comme les TPU de google ou Trainium d'AWS) dans les racks de serveurs contiennent généralement des dizaines ou des centaines de cœurs et des centaines de gigaoctets de mémoire qui doivent être interconnectés. Lorsqu’elles sont saturées de données, ces interconnexions électriques classiques commencent à échouer ou deviennent très lentes. Mais ce n’est pas le cas des interconnexions photoniques ; ils ont beaucoup plus de capacité.

« Les connexions à plus longue distance avec une bande passante élevée et une faible latence sont exactement là où les interconnexions photoniques brillent », a déclaré Patze. « Il n'est donc pas surprenant que certaines entreprises se tournent vers ces solutions pour surmonter le goulot d'étranglement du mouvement des données dans le calcul de l'IA moderne. L’approche d’interconnexion photonique a également des délais de développement beaucoup plus courts, car les composants d’interconnexion photonique et la conception de circuits sont en principe bien connus dans l’industrie des communications optiques.

Verma voit l’industrie des puces accélératrices photoniques d’IA évoluer en trois étapes au cours des prochaines années. Premièrement, elle s’attend à une vague de connectivité hybride – silicium et photonique regroupés – suivie d’un flot de plates-formes intégrées (la deuxième phase), puis finalement d’un calcul photonique complet comme troisième étape.

D'ici 2027, Verma estime que 10 % des déploiements de commutateurs réseau seront dotés d'optiques de co-packaging, motivés par la nécessité d'augmenter la bande passante et de réduire la consommation d'énergie, contre un pourcentage négligeable actuellement.

« Le principal défi est la réduction des coûts de fabrication », a déclaré Verma, « mais le marché sera stimulé par la nécessité d'augmenter la bande passante et de réduire la consommation d'énergie, qui est actuellement négligeable… L'informatique photonique en est encore à ses débuts. »

Mordor Intelligence prédit que le marché des circuits intégrés photoniques vaudra 26,42 milliards de dollars d’ici 2027.