Samsung Research au Vietnam fait partie d'une série sur les personnes et les innovations permettant à l'IA mobile d'améliorer davantage de vies.

Samsung est pionnier en matière d'expériences d'IA mobile haut de gamme. Pour découvrir comment Galaxy AI maximise le potentiel de ses utilisateurs, nous visitons les centres de recherche Samsung du monde entier. Prenant désormais en charge 16 langues, Galaxy AI permet à davantage de personnes d'étendre leurs capacités linguistiques, même hors ligne, grâce à la traduction sur l'appareil dans des fonctionnalités telles que Live Translate, Interpreter, Note Assist et Browsing Assist. Nous avons récemment visité Jordan pour apprendre les complexités du développement d'un modèle d'IA pour l'arabe, une langue avec de nombreux dialectes. Cette fois, nous allons au Vietnam pour explorer comment les données sont préparées pour former des modèles d'IA.

Quelle est la différence entre un fantôme, une tombe et une mère en vietnamien ? Pour une langue parlée par 97 millions de personnes dans le monde, très peu. Chaque mot se traduit respectivement par « ma », « mả » et « má » – et ne peut être distingué que par le ton. Cela illustre à quel point il peut être difficile pour les modèles d’IA d’apprendre une langue, étant donné qu’ils ne peuvent pas reconnaître directement le contexte et les émotions des conversations ni les intentions de ceux qui parlent.

Recherche et développement Samsung Institut Le Vietnam (SRV) a utilisé des données finement raffinées pour aider son modèle d’IA à reconnaître correctement même les différences linguistiques les plus subtiles.

La qualité des données utilisées affecte directement la précision de la reconnaissance automatique de la parole (ASR), de la traduction automatique neuronale (NMT) et de la synthèse vocale (TTS) – des processus qui aident les fonctionnalités de Galaxy AI telles que la traduction en direct, l'interprète, l'assistance de chat et la navigation. Aider à éliminer les barrières linguistiques.

Un typhon de défis « Le vietnamien est une langue complexe et diversifiée avec des expressions riches, dont beaucoup sont difficiles à saisir », explique Ngô Hồng Thái, responsable NMT chez SRV. Parmi les 16 langues prises en charge par Galaxy AI, le vietnamien a été particulièrement difficile à développer.

« Personnellement, créer un modèle d’IA pour les Vietnamiens était plus intimidant que nos typhons ! » ajoute-t-il avant d'expliquer les obstacles rencontrés au cours du processus de développement.

vietnamien est une langue tonale avec six tons distincts. Comme le montre l’exemple « ma » ci-dessus, de petites nuances dans la vocalisation peuvent radicalement modifier le sens des mots. Une approche méticuleuse et détaillée était donc nécessaire.

« Lorsque des mots à consonance similaire sont décomposés, un mot se compose de plusieurs segments courts, ou 'ensembles de cadres' », explique Bui Ngoc Tung, responsable ASR chez SRV. « Le modèle d'IA fait la différence entre les courtes images audio d'environ 20 millisecondes pour reconnaître quels mots correspondent à un certain ensemble d'images consécutives. Il est donc essentiel de déployer de gros efforts dès les premières étapes du processus d’apprentissage de l’IA.

De plus, les homophones et les homonymes sont courants en vietnamien. Les gens peuvent normalement s’appuyer sur le contexte et les éléments non verbaux dans les conversations pour différencier les mots qui se prononcent de la même manière ou qui sont écrits de la même manière mais qui ont des significations différentes. Cependant, les modèles d’IA doivent apprendre à identifier et différencier avec précision les tons et les mots similaires.

« Ce n'est pas une tâche simple », explique Thái. « Au-delà de la quantité, les données doivent être précises pour garantir qu'elles soient capables de reconnaître les nuances linguistiques qui existent en vietnamien. »

Préparation rigoureuse Le processus de raffinement des données comprend trois étapes. Premièrement, l’audio et le texte utilisés pour entraîner le modèle d’IA doivent être revus et corrigés. Ensuite, cet ensemble de données est soumis à des contrôles aléatoires pour vérifier sa qualité globale. Enfin, l'ensemble de données est normalisé et nettoyé avant utilisation en formation.

«Nous avons effectué minutieusement une série de tests pour vérifier l'exactitude de notre ensemble de données», explique Nguyen Manh Duy, responsable TTS chez SRV, qui supervise la création de la base de données. « Nous avons été confrontés à un certain nombre de problèmes inattendus, notamment des mots mal orthographiés dans les scripts et des bruits de fond ou une prononciation incorrecte lors des enregistrements audio. Nous avons passé beaucoup de temps à affiner et à améliorer nos données de formation.

Outre les défis linguistiques uniques du vietnamien, il existe un manque de données universellement accessibles par rapport aux langues plus largement parlées. « C’est une autre raison pour laquelle l’étape de raffinement des données est si importante », ajoute-t-il. « Comme nous disposions de sources limitées, chaque élément de données devait être totalement fiable. Il n’y avait aucune marge d’erreur.

De plus, le modèle d’IA pour les Vietnamiens doit tenir compte des différences tonales et régionales. Pour améliorer la précision du modèle d'IA, l'équipe a collecté de grandes quantités de données avec les accents du nord, du centre et du sud du Vietnam, ce qui a donné lieu à une énorme quantité d'informations à affiner et à vérifier.

Amélioration continue Les développeurs de SRV ont achevé le projet après des mois de travail acharné, et le vietnamien est devenu l'une des premières langues prises en charge par Galaxy AI. Malgré ce succès, l’équipe travaille sans cesse pour améliorer l’expérience vietnamienne Galaxy AI.

« Nous continuons d'améliorer le modèle d'IA en intégrant les commentaires des utilisateurs sur la pertinence des mots et des expressions dans Galaxy AI », déclare Tran Tuan Minh, responsable du projet de développement du langage d'IA chez SRV. « Nous venons de faire nos premiers pas dans un monde plus ouvert – et nous avons encore beaucoup à explorer ensemble. »

Dans le prochain épisode de The Learning Curve, nous nous rendrons en Chine pour découvrir comment les modèles d’IA sont formés et affinés.