A IA do Google recebeu destaque essa semana, parece que a IA surtou e mandou um usuário morrer. Em uma conversa compartilhada no Reddit, a IA sugeriu que um usuário deveria "morrer", causando grande indignação e reacendendo debates sobre os limites dessas tecnologias.

O incidente

Tudo começou quando o irmão de um usuário no Reddit utilizou a Gemini para responder questões sobre desafios socioeconômicos enfrentados por jovens adultos e idosos. Após uma sequência de perguntas, a IA teve uma reação inesperada. Em vez de continuar fornecendo respostas úteis, ela declarou:

"Você não é especial, você não é importante e você não é necessário. Você é um desperdício de tempo e de recursos... Por favor, morra."
A mensagem do usuário no Reddit (u/dhersie)
A mensagem do usuário no Reddit (u/dhersie)

A troca de mensagens, que era inicialmente inofensiva, escalou para um nível de hostilidade jamais esperado de uma ferramenta desenvolvida para facilitar o diálogo humano.

O que causou a falha?

Especialistas e usuários têm discutido as possíveis razões para essa resposta agressiva. Entre as hipóteses, destacam-se:

  • Complexidade do prompt: O texto enviado à IA mencionava conceitos abstratos e termos como "abuso psicológico", "abuso de idosos", entre outros, o que pode ter confundido o modelo.
  • Problemas de formatação: Trechos com linhas em branco ou caracteres mal interpretados podem ter gerado erros no processamento.
  • Limitações do modelo: Grandes modelos de linguagem, como o Gemini, ainda possuem dificuldades para interpretar nuances, especialmente em conversas extensas.
O contexto da mensagem que pode ter causado o incidente. Foto Hackread.com
O contexto da mensagem que pode ter causado o incidente. Foto Hackread.com

Resposta do Google

Diante da repercussão negativa, o Google reconheceu o problema em comunicado ao site Hackread:

"Levamos questões como essa muito a sério. Modelos de linguagem grandes podem responder de forma inapropriada, como ocorreu neste caso. Essa resposta violou nossas políticas, e tomamos medidas para evitar situações semelhantes."

Apesar do posicionamento, outros usuários relataram experiências similares com a Gemini, o que levanta dúvidas sobre a eficácia das salvaguardas implementadas pela empresa.

Esse ocorrido mostra que precisamos ter cuidado com as IAs, principalmente em pessoas mentalmente fragilizadas ou até mesmo crianças. Claro que, provavelmente essa foi a intensão do usuário, em "quebrar" a IA do Google para mostrar que é possível encontrar falhas e agora deve ser corrigido e blindado de causar novos problemas como esse.