Côté sombre du transformateur GPT-3

2021/03/11 Roa Zubia, Guillermo - Elhuyar Zientzia

• Teknologia
• Adimen artifiziala
• Berdintasuna
• Programazioa
• Robotika

Nous vivons dans une révolution de l'intelligence artificielle, qu'elle soit consciente ou non. C'est pourquoi il est indispensable de parler du fonctionnement et du bénéfice de l'intelligence artificielle (exemple clair est la traduction automatique à travers des réseaux neuronaux). Mais comme les avantages sont mentionnés, il faut mentionner les risques.

Dans le domaine de l'intelligence artificielle, une idée ancestrale se réalise dernièrement. La science-fiction du XXe siècle a souvent proposé que les machines réaliseraient des travaux créatifs. Appelez un robot, appelez votre ordinateur… ce que vous voulez. Aujourd'hui, de nombreuses machines peuvent écrire de la littérature ou composer de la musique, par exemple. Mieux ou pire. Mais il est capable, d'une certaine façon, d'être créatif. L'écrivain Isaac Asimov a été appelé une fois “une machine non intelligente” parce que “il n'est pas capable d'écrire une symphonie”. Et Asimov demanda de retour “Êtes-vous capable d'écrire une symphonie?”.

Ce qui est certain, c'est qu'aujourd'hui, l'intelligence artificielle fait de mieux en mieux ces choses. Un exemple frappant est le programme GPT-3. Écrivez. Eh bien, très bien. Il fait de la littérature, et sûrement ni toi ni moi, nous ne sommes pas capables de distinguer entre la littérature faite par un homme et le GPT-3.

Cependant, ce n'est pas parfait. Faibles dans l'écriture. C'est ce que dit le chef de l'OpenAI lui-même, qui a fait GPT-3. De temps en temps, vous faites des erreurs folles (et qui n'est pas ! ). Cependant, il est étonnant comment GPT-3 écrit.

L'idée est qu'ils ont formé le programme (en réalité, l'algorithme du GPT-3 est secret, mais son fonctionnement de base est habituel). Il est capable de deviner ce qui est, pour le dire d'une certaine façon, le mot suivant qu'il va trouver alors qu'un texte est formé. Apprenez à imiter des styles. En 2017, les informaticiens ont inventé une technique appelée Trasformer pour augmenter l'efficacité de cet apprentissage. Plusieurs processeurs utilisent en parallèle pour augmenter la rapidité (en réalité c'est plus compliqué). Le nom GPT signifie approximativement “Transformateur formé-3” (de l'anglais Generative Pretrained Transformer) et GTP-3 est la troisième version.

Où est le risque? Car leur risque est le même que l'intelligence artificielle dans presque n'importe quel domaine. S'il est formé avec des textes qui ne sont pas très appropriés à la source (par exemple des textes racistes), le GPT-3 aura tendance à produire ce type de texte. Donc, il est clair que vous devez regarder avec quel texte est formé, mais pour avoir un bon programme, vous devez utiliser des milliards de textes dans la formation et pas tous peuvent être supervisés au préalable. Il assumera et assumera, par conséquent, les bénéfices et les préjudices de tout ce qui « dévore ». Par conséquent, les programmeurs doivent chercher des moyens pour encadrer en partie cet apprentissage éthiquement. Et ce n'est pas facile. C'est un grand défi pour les informaticiens.