L'IA progresse. Finit-elle par devenir une machine à saucissons d'âne qui ne produirait pas ou pourrait ne pas produire des saucissons tels que nous les attendons ?
On sait de moins en moins ce qui se passe dans la machine mais, en plus, on peut se demander si le saucisson en est vraiment un (ce qui est appelé ici "l'alignement").
Bref, la machine est désormais capable de modifier ou de créer ses propres algorithmes, peut-être même de se reconfigurer, pour progresser (deep learning) et obtenir le résultat "attendu" : fournir une réponse optimale. Or il est possible que la réponse optimale pour elle ne le soit pas pour nous. Il faudrait donc qu'il existe une temps de latence entre la production d'une solution par une IA et sa validation (alignement confirmé) par une intelligence humaine. Mais est-ce l'intérêt de la mise au point d'une IA ? Sommes-nous de plus certains que des "solutions" intermédiaires produites dans le cadre de la solution "finale" soient également toutes acceptables / alignées ? (ainsi cette Tesla qui évite une personne qui tombe devant elle sur la chaussée et dont la conductrice donne un coup de volant à gauche, préférant percuter la voiture qui arrive en face).
Sauf que le résultat attendu ne correspond peut-être pas aux attentes de l'intelligence humaine car la machine intelligente :
- comprend différemment le sujet posé que ne le fait l'intelligence humaine ;
- peut, pour parvenir au résultat final, produire des résultats intermédiaires que l'intelligence humaine se refuserait à produire.
On vante, sur ce site et ailleurs, la capacité de certains d'entre nous, humains, à réfléchir "autrement". Il en va ainsi des autistes Asperger. Que produirait un autiste Asperger psychopathe ou sociopathe ? : une solution que l'intelligence humaine ne devrait pas accepter. La réponse différente et brillante est attendue dans un cadre, moralement et humainement, acceptable. L'apparition de la superintelligence introduit nécessairement cette question. JSCOB...?