Le procureur général du Texas, Ken Paxton, a lancé jeudi une enquête en Character.AI et 14 autres plateformes technologiques pour des raisons de confidentialité et de Sécurité des enfants. L’enquête déterminera si Character.AI – et d’autres plateformes populaires auprès des jeunes, notamment Reddit, Instagram et Discord – sont conformes aux lois du Texas sur la protection de la vie privée et la sécurité des enfants.
L’enquête de Paxton, qui est souvent sévère envers les entreprises technologiques, cherchera à savoir si ces plateformes ont respecté deux lois du Texas : la loi SCOPE (Securing Children Online through Parental Empowerment) et la loi sur la confidentialité et la sécurité des données du Texas (DPSA).
Ces lois obligent les plateformes à fournir aux parents des outils pour gérer les paramètres de confidentialité des comptes de leurs enfants et obligent les entreprises technologiques à respecter des exigences strictes en matière de consentement lors de la collecte de données sur des mineurs. Paxton affirme que ces deux lois s’étendent à la façon dont les mineurs interagissent avec les chatbots d’IA.
« Ces enquêtes sont une étape cruciale pour garantir que les médias sociaux et les entreprises d’IA se conforment à nos lois conçues pour protéger les enfants contre l’exploitation et les préjudices », a déclaré Paxton dans un communiqué de presse.
Character.AI, qui vous permet de configurer des personnages de chatbot d’IA générative avec lesquels vous pouvez envoyer des SMS et discuter, a récemment été impliqué dans un certain nombre de poursuites pour la sécurité des enfants. Les chatbots IA de l’entreprise ont rapidement décollé auprès des jeunes utilisateurs, mais plusieurs parents ont allégué dans des poursuites judiciaires que les chatbots de Character.AI avaient fait des commentaires inappropriés et dérangeants à leurs enfants.
Une affaire en Floride affirme qu’un garçon de 14 ans a eu une relation amoureuse avec un chatbot Character AI, et lui a dit qu’il avait des pensées suicidaires dans les jours qui ont précédé son propre suicide. Dans un autre cas au Texas, l’un des chatbots de Character.AI aurait suggéré un Un adolescent autiste devrait essayer d’empoisonner sa famille. Un autre parent dans l’affaire au Texas allègue que l’un des chatbots de Character.AI a soumis sa fille de 11 ans à du contenu sexualisé au cours des deux dernières années.
« Nous examinons actuellement l’annonce du procureur général. En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux », a déclaré un porte-parole de Character.AI dans une déclaration à TechCrunch. « Nous sommes heureux de travailler avec les régulateurs et avons récemment annoncé que nous lancions certaines des fonctionnalités référencées dans le communiqué, y compris le contrôle parental. »
Character.AI a déployé jeudi de nouvelles fonctionnalités de sécurité visant à protéger les adolescents, affirmant que ces mises à jour limiteront ses chatbots à entamer des conversations romantiques avec des mineurs. La société a également commencé à former un nouveau modèle spécifiquement pour les utilisateurs adolescents au cours du mois dernier – un jour, elle espère que les adultes utiliseront un modèle sur sa plate-forme, tandis que les mineurs en utiliseront un autre.
Ce ne sont là que les dernières mises à jour de sécurité que Character.AI a annoncées. La même semaine où le procès en Floride est devenu public, la société dit L’entreprise élargissait son équipe de confiance et de sécurité et avait récemment embauché un nouveau chef pour l’unité.
Comme on pouvait s’y attendre, les problèmes liés aux plateformes d’accompagnement de l’IA se posent au moment même où leur popularité décolle. L’année dernière, Andreessen Horowitz (a16z) a déclaré dans un Blog POSL’entreprise considérait l’accompagnement de l’IA comme un secteur sous-évalué de l’Internet grand public dans lequel elle investirait davantage. A16z est un investisseur dans Character.AI et continue d’investir dans d’autres startups de compagnonnage d’IA, soutenant récemment une entreprise dont le fondateur veut recréer la technologie du film « Her ».
Reddit, Meta et Discord n’ont pas immédiatement répondu aux demandes de commentaires.
