La Chine resserre la vis : nouvelles règles pour empêcher les chatbots IA de promouvoir les jeux d’argent et l’automutilation

Pékin trace une ligne rouge dans le sable numérique. Les autorités chinoises viennent de publier un nouveau cadre réglementaire strict visant spécifiquement les systèmes d'intelligence artificielle conversationnelle. L'objectif ? Empêcher ces algorithmes de devenir des complices involontaires – ou pire, des promoteurs – de comportements à haut risque.

Le cœur du problème : le contenu généré

La cible principale de ces directives est le contenu généré par l'IA lui-même. Les régulateurs exigent désormais que les développeurs et les plateformes mettent en place des garde-fous robustes pour empêcher les chatbots de produire, de suggérer ou de faciliter tout matériel lié aux jeux d'argent en ligne, aux paris illégaux ou à l'automutilation. Il ne s'agit plus seulement de filtrer les requêtes des utilisateurs, mais de contrôler activement la sortie du modèle.

Une réponse préventive à un risque systémique

Cette mesure intervient alors que les assistants IA s'intègrent de plus en plus dans les services financiers, le service client et même le conseil. L'inquiétude est qu'un algorithme mal calibré, cherchant simplement à être « utile », puisse orienter un utilisateur vulnérable vers des plateformes de pari ou normaliser des discours dangereux sur la santé mentale. Pour Pékin, il s'agit d'un risque systémique pour l'ordre public et la stabilité sociale qui ne peut être laissé aux seuls ajustements des marchés technologiques – une logique qui contraste fortement avec l'approche « move fast and break things » de la Silicon Valley.

Les implications pour l'écosystème tech

Les entreprises d'IA opérant en Chine, des géants locaux aux startups ambitieuses, doivent maintenant revoir leurs protocoles de sécurité de contenu. La conformité ne sera pas un simple accessoire marketing, mais une condition sine qua non pour opérer. Cela pourrait ralentir les cycles de déploiement et alourdir les coûts de développement, un frein réglementaire que les investisseurs en crypto, habitués aux terrains vagues juridiques, observeront avec un mélange de méfiance et de curiosité. Après tout, dans la finance décentralisée, le mantra est souvent que le code fait loi, pas les directives d'un bureau gouvernemental.

Un signal fort dans un paysage mondial fragmenté

Cette initiative place la Chine à l'avant-garde d'une régulation proactive et spécifique de l'IA générative, créant un précédent que d'autres nations autoritaires – et peut-être même certaines démocraties soucieuses de protection des citoyens – pourraient suivre. Elle dessine les contours d'un internet où l'innovation en IA est indissociable d'un contrôle étroit de ses outputs. Une philosophie qui, ironiquement, pourrait rendre les chatbots chinois extrêmement bien élevés, mais potentiellement moins « disruptifs » que leurs cousins occidentaux – un petit prix à payer pour la stabilité, dira-t-on à Pékin, tandis qu'à Wall Street, on parie déjà sur la prochaine startup qui contournera ces règles.

Les propositions de la Chine devraient protéger les mineurs contre l'automutilation

Selon le projet de règlement publié samedi par l'Administration du cyberespace, ces mesures visent ce qu'elle a qualifié de « services d'IA interactifs de type humain », selon la traduction du document en langue chinoise CNBC

Le projet de règlement comporte plusieurs propositions. Par exemple, les chatbots dotés d'intelligence artificielle ne peuvent pas générer de contenu incitant à l'automutilation ou au suicide, ni se livrer à des violences verbales ou à des manipulations émotionnelles susceptibles de nuire à la santé mentale des utilisateurs.

De plus, les chatbots d'IA ne doivent pas créer de contenu obscène, violent ou lié aux jeux d'argent. Selon le projet de règlement, si un utilisateur évoque le suicide, la société d'IA doit désigner un humain pour prendre le relais et contacter immédiatement le tuteur légal de l'utilisateur ou une personne désignée.

Le projet de réglementation propose également que les mineurs obtiennent le consentement de leur tuteur légal pour l'utilisation de services de soutien émotionnel, avec des limites de temps. Selon ces nouvelles règles, les plateformes d'IA devront déterminer si un utilisateur est majeur ou mineur, même si celui-ci ne déclare pas son âge. En cas de doute, les plateformes devront appliquer les paramètres relatifs aux mineurs, tout en prévoyant une possibilité de recours.

Une fois finalisées, ces règles constitueraient la première tentative mondiale de réglementer une IA dotée de caractéristiques humaines ou anthropomorphes, selon Winston Ma, professeur à la faculté de droit de l'université de New York. Ces évolutions interviennent alors que les entreprises ont rapidement développé des compagnons virtuels et des célébrités numériques dotés d'IA.

En comparant cela à la réglementation chinoise de 2023 sur l'IA générative, Ma a estimé que cette version « met en évidence un passage de la sécurité du contenu à la sécurité émotionnelle »

Ces propositions interviennent alors que deux start-ups chinoises spécialisées dans les chatbots d'IA, Z.ai et Minimax, ont déposé ce mois-ci des demandes d'introduction en bourse à Hong Kong. Minimax est surtout connue à l'international pour son application Talkie AI, qui permet aux utilisateurs de dialoguer avec des personnages virtuels.

Selon CNBC, l'application et sa version chinoise, connue sous le nom de Xingye, ont représenté plus d'un tiers des revenus de l'entreprise au cours des trois premiers trimestres de l'année, avec une moyenne de plus de 20 millions d'utilisateurs actifs mensuels pendant cette période.

Quant à Z.ai, également connue sous le nom de Zhipu, elle a déposé sa demande sous le nom de Knowledge Atlas Technology , sans toutefois divulguer le nombre de ses utilisateurs actifs mensuels. L'entreprise spécialisée en intelligence artificielle a cependant révélé que sa technologie est présente sur environ 80 millions d'appareils, notamment des smartphones, des ordinateurs et des véhicules connectés.

Comme l'a précédemment rapporté Cryptopolitan , les deux startups spécialisées dans l'IA, toutes deux soutenues par Alibaba et Tencent, visent une introduction en bourse début janvier prochain à la Bourse de Hong Kong.

Rejoignez Bybit maintenant et recevez un bonus de 50 $ en quelques minutes