Le ZeRO-Infinity de Microsoft peut désormais exécuter un modèle avec plus d’un billion de paramètres sur un seul nœud NVIDIA DGX-2 et plus de 30 billions de paramètres sur 32 nœuds (512 GPU). Avec une centaine de nœuds DGX-2 dans un cluster, Microsoft projette que ZeRO-Infinity peut entraîner des modèles avec plus de cent mille milliards de paramètresAddicts de science-fiction

Leave a Reply