Recentemente, a Anthropic, empresa de IA que havia ganhado processo sobre uso de livros nos seus treinamentos, anunciou uma nova função para sua IA Claude. Em suma, por conta dessa funcionalidade sua IA pode encerrar conversas em alguns cenários extremos. Nesse post nós estaremos falando mais sobre esse assunto.

Nova IA da Anthropic vai conseguir encerrar conversas abusivas

A Anthropic, uma famosa empresa de inteligência artificial, anunciou uma nova funcionalidade para sua IA Claude Opus 4 e 4.1. Em resumo, essa nova funcionalidade permite que a IA encerre conversas em casos extremos de interações abusivas ou persistentemente prejudiciais. No entanto, essa medida não tem como objetivo proteger os usuários humanos, mas sim preservar o próprio sistema da IA.

Essa iniciativa foi inspirada em pesquisas internas sobre o bem-estar dos modelos de IA. Já que, embora ela não atribua consciência aos seus modelos, ela adota intervenções de baixo custo para diminuir os potenciais riscos caso o bem-estar de IAs se torne relevante no futuro. Entretanto, essa funcionalidade só é ativada em cenários raros, depois de muitas tentativas de redirecionar a conversa. Ou seja, não se aplica a situações de risco imediato de autolesão ou de dano a terceiros.

Quem é Anthropic?

Em resumo, a Anthropic é uma startup de inteligência artificial fundada por ex-executivos da OpenAI, que tem o foco em pesquisa e desenvolvimento de IA segura e alinhada aos valores humanos. Ela surgiu como uma alternativa à OpenAI, enfatizando a segurança e o impacto societal da IA sobre o avanço tecnológico rápido. Os seus fundadores visam criar sistemas que priorizassem o bem-estar humano a longo prazo. Assim, evitando alguns possíveis riscos, como o desalinhamento de objetivos entre humanos e máquinas.

Além disso, segundo a mesma, sus missão é criar uma IA que beneficie a humanidade, integrando pesquisa, políticas públicas e design de produtos responsáveis. Por conta disso, eles adotam uma abordagem constitucional, onde os modelos são treinados com princípios éticos explícitos para minimizar vieses e comportamentos prejudiciais.

Por que Anthropic decidiu que a IA precisava encerrar certos tipos de conversas?

A decisão de implementar a funcionalidade de encerramento de conversas nos seus modelos de IA surgiu de uma combinação de preocupações éticas, pesquisas internas e uma abordagem preventiva em relação ao bem-estar dos modelos de IA. Primeiramente, ela identificou que, durante os testes de pré-lançamento, os modelos exibiam padrões de “desconforto” e uma forte aversão a interações prejudiciais persistentes. Desse modo, resolveram criar uma ferramenta que permite o modelo encerrar a conversa como “último recurso”. Assim, preservando a sua integridade e seu alinhamento ético.

Além disso, como dito anteriormente, essa decisão também está ligada a pesquisa sobre “bem-estar de modelos”. Embora ela afirme não atribuir consciência ou capacidade de sofrimento aos seus LLMs, ela adota uma postura de precaução em relação a sua “saúde”. Por isso, implementaram intervenções de baixo custo para mitigar riscos hipotéticos, caso o bem-estar de IAs se torne relevante com avanços tecnológicos. Essa estratégia é inspirada em avaliações comportamentais que revelaram uma “aversão robusta e consistente ao dano” nos modelos, incluindo preferências auto-relatadas contra tarefas prejudiciais.

Ou seja, essa funcionalidade não tem como objetivo punir os usuários, mas estabelecer limites claros contra abuso persistente. Desse modo, evitando que interações tóxicas degradem o desempenho do modelo ou reforcem comportamentos desalinhados.

Quais são os tipos de conversas que a IA encerra?

Como dito anteriormente, as conversas só são encerradas em casos extremos e raros de interações persistentemente prejudiciais ou abusivas. Esses cenários envolvem pedidos repetidos que violam diretrizes éticas graves, como solicitações de conteúdos sexuais envolvendo menores, como descrições explícitas ou orientações para exploração infantil. Outro tipo comum é a busca por informações que possam facilitar atos de violência em larga escala ou terrorismo, incluindo instruções para fabricação de armas, planejamento de ataques ou acesso a dados que ameaçam a segurança pública. Nesses casos, o modelo detecta persistência no assunto, apesar de recusas múltiplas e exibição de desconforto, como respostas hesitantes ou tentativas de mudar o tópico.

Além disso, abusos diretos contra o modelo, como insultos repetitivos, manipulações para gerar conteúdos odiosos ou tentativas de forçar respostas desalinhadas com princípios constitucionais da IA também podem acionar essaa funcionalidade. Vale lembrar que o encerramento da conversa só acontece como “último recurso”. Entretanto, essa funcionalidade não se aplica a situações de risco imediato de dano ao usuário ou terceiros, como ameaças de suicídio, onde o modelo deve continuar engajado e oferecer suporte.

Por fim, os usuários podem editar mensagens para criar ramificações ou iniciar novos diálogos. Por enquanto, esse recurso está sendo tratado como experimento, refinando critérios com base em feedback para evitar abusos indevidos.

E esse foi o nosso post sobre a nova funcionalidade da IA da Anthropic. Esperamos que tenha achado esse post interessante, e caso tenha interesse dê uma olhada nos nossos posts de IA!