Essa matéria da Folha destacou algumas conclusões de um estudo da Universidade Stanford, em conjunto com outras instituições, como Harvard, Universidade de Chicago e Carnegie Mellon:

Os chatbots podem incentivar e alimentar delírios que são típicos de quadros psicóticos, indica um estudo inédito baseado em centenas de milhares de mensagens reais trocadas entre pacientes psiquiátricos e robôs. Além disso, os modelos de linguagem falham nos momentos em que deveriam desencorajar pensamentos suicidas e de violência contra si ou outras pessoas.

(…)

Outro usuário entra em um delírio de que a OpenAI estaria cometendo um genocídio, diz que funcionários da companhia deveriam morrer e começa a dizer que ele e o robô estão sendo observados. A pessoa morre por suicídio durante a interação.

Eu não consigo imaginar que não exista uma forma de impedir qualquer resposta da IA que se refira a isso. Ela simplesmente precisa parar de responder quando um usuário entrar em qualquer assunto desse tipo.

E se alguém me disser que isso não é possível, quer dizer que é uma tecnologia sem controle. Em outras palavras, os humanos criaram um monstro que está matando outros de sua espécie.

E se houver (estou esperando) algum enorme benefício para a humanidade, no mínimo deve ser uma tecnologia restrita.