IA : faut-il craindre une explosion d’intelligence ?

Et si le développement automatisé des solutions d’Intelligence artificielle provoquait une « explosion d’intelligence » ? Dans un rapport publié par le Cambridge Programme on AI Science & Policy (CASP), une vingtaine de chercheurs renommés, dont Geoffrey Hinton, prix Nobel de physique 2024, Yoshua Bengio, un des pionniers de l’IA,  Jack Clark, co-fondateur d’Anthropic, et Jakub Pachocki, directeur scientifique d’OpenAI, alertent sur ce scénario, où une IA atteint un niveau suffisant pour concevoir des versions d’elle-même encore plus performantes, déclenchant une réaction en chaîne d’auto-amélioration récursive.

« Contrairement à ce qui se passait il y a encore un an, les systèmes d’IA écrivent désormais la majeure partie du code au sein même des entreprises qui les développent. À mesure que la chaîne de recherche et développement (R&D) s’automatise, les progrès de l’IA pourraient-ils s’accélérer radicalement, donnant lieu à une « explosion d’intelligence » où des années d’avancées seraient condensées en quelques mois, voire moins ? Des éléments préliminaires laissent penser que cela pourrait être le cas », expliquent les auteurs.

« Si cela devait déclencher une explosion d’intelligence, cela pourrait considérablement accélérer l’avènement des avantages de l’IA, mais aussi présenter des risques extrêmes : la croissance des capacités pourrait s’accélérer bien au-delà de ce que la société est capable de suivre, l’humanité pourrait perdre le contrôle des systèmes d’IA surhumains, et les mécanismes de contrôle du pouvoir au sein des États, des entreprises et des branches du gouvernement, ainsi qu’entre eux, pourraient être gravement érodés. Bien qu’il subsiste une grande incertitude quant à ces possibilités, les enjeux considérables justifient qu’on y accorde une attention sérieuse et approfondie », ajoutent-ils.

Ils soulignent que les décideurs politiques devraient de toute urgence se doter d’une meilleure visibilité sur l’automatisation de la R&D en matière d’IA, mettre au point des moyens pour orienter et limiter une explosion de l’intelligence, et préparer la société à s’adapter aux conséquences d’une telle explosion.

Pour le lire le rapport intégral https://casp.ac/reports/intelligence-explosion