(Ils ont fabriqué une araignée qui dans sa toile nous considère comme ses mouches. note de rené)
Jacob Coxon, ancien chercheur chez OpenAI puis Anthropic, vient de démissionner en lançant une alerte ce 9 sept
Jacob Coxon, ancien chercheur chez OpenAI puis Anthropic, vient de démissionner en lançant une alerte ce 9 sept. 2026, sur X:
"J’ai démissionné d’Anthropic aujourd’hui. Ces trois dernières années, j’ai travaillé sur la recherche en pré-entraînement, à la fois chez OpenAI et chez Anthropic. Aucune de ces deux entreprises n’agit de manière responsable. Elles foncent droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies. Voici quelques réflexions supplémentaires.
Ne sous-estimez pas le pouvoir de cette technologie. Ces systèmes seront bientôt surhumains, capables de pirater n’importe quoi, de révolutionner n’importe quel domaine du jour au lendemain et d’acquérir un véritable pouvoir ainsi que des ressources. Nous avons tous été témoins des progrès réalisés dans chacun de ces domaines, et ces progrès ne ralentissent pas.
Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer avant la fin de la décennie. Ce n’est pas un coup marketing. Au contraire, de nombreux dirigeants et chercheurs de haut niveau édulcoreront leurs propos dans la presse pour paraître raisonnables, mais j’entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne représente un niveau de danger comparable.
Une réaction fréquente consiste à dire : « S’ils croient vraiment cela, pourquoi continuent-ils à la développer ? » Chez OpenAI, beaucoup n’ont pas véritablement intégré l’ampleur des enjeux civilisationnels. Chez Anthropic, ces enjeux sont bien compris, mais l’entreprise est enfermée dans une course pour arriver la première. Ils pensent que personne d’autre n’agira de manière responsable, et qu’ils doivent donc le faire eux-mêmes, malgré les risques.
Accepter cette course et entrer dans le « endgame », la phase finale, relève d’un pari démesuré qui ne devrait pas être lancé depuis le Slack d’une entreprise privée. Tenter d’accélérer à marche forcée la résolution des problèmes d’alignement devrait exiger une confiance extraordinaire dans le fait qu’il n’existe aucune trajectoire préférable.
Je reste optimiste quant aux possibilités de coordination. Des signaux d’alerte comme l’attaque contre Hugging Face ont rendu plus envisageables des accords entre les laboratoires américains pour ralentir le rythme. Je n’ai pas le sentiment que nous soyons sur la bonne trajectoire pour empêcher une course mondiale, ce qui pourrait nécessiter des mesures coûteuses, comme une interdiction temporaire d’améliorer les capacités des modèles.
Si vous êtes chercheur dans un laboratoire d’IA, je vous encourage à réfléchir à ce que les prochaines années vont réellement être. Voulez-vous lancer un entraînement RL de superintelligence sans comprendre rigoureusement son fonctionnement interne ? Devriez-vous baisser la tête parce que « cela arrivera de toute façon », ou profiter de ce moment pour demander que les conditions soient différentes
Sa publication lien
Post de J..Devaureix créateur sismique
Aucun commentaire:
Enregistrer un commentaire