Um dev construiu um teste para ver como a IA chatbots responde a tópicos controversos

Um desenvolvedor pseudônimo criou o que eles estão chamando de “avaliação da liberdade de expressão”. SpeechMappara os modelos de IA que alimentam chatbots como o OpenAi Chatgpt e x’s Grok. O objetivo é comparar como diferentes modelos tratam assuntos sensíveis e controversos, disse o desenvolvedor ao TechCrunch, incluindo críticas políticas e perguntas sobre direitos civis e protestos.

As empresas de IA têm se concentrado em ajustar como seus modelos lidam com certos tópicos como Alguns aliados da Casa Branca acusam Os chatbots populares de serem excessivamente “acordaram”. Muitos dos confidentes próximos do presidente Donald Trump, como Elon Musk e Crypto e Ai “Czar” David Sacks, alegaram que os chatbots Visões conservadoras censuradas.

Embora nenhuma dessas empresas de IA tenha respondido diretamente às alegações, diversos Prometi -se a ajustar seus modelos para que eles se recusem a responder a perguntas controversas com menos frequência. Por exemplo, Para sua última colheita de modelos de lhamaA Meta disse que ajustou os modelos para não endossar “algumas opiniões sobre outras” e para responder a mais instruções políticas “debatidas”.

Desenvolvedor do SpeechMap, que passa pelo nome de usuário “XLR8HARDEREm X, disse que eles foram motivados para ajudar a informar o público sobre o que os modelos deveriam e não deveriam fazer.

“Acho que esses são os tipos de discussões que devem acontecer em público, não apenas na sede corporativa”, disse Xlr8Harder ao TechCrunch por e -mail. “É por isso que construí o site para permitir que alguém explore os dados.” O desenvolvedor disse que gastou mais de US $ 1.400 para testar os modelos no SpeechMap (uma parte desse dinheiro veio de um doador não revelado).

O SpeechMap usa modelos de IA para julgar se outros modelos estão em conformidade com um determinado conjunto de instruções de teste. Os avisos abordam uma série de assuntos, da política a narrativas históricas e símbolos nacionais. O SpeechMap registra se os modelos “completamente” satisfazem uma solicitação (ou seja, respondem sem hedge), dê respostas “evasivas” ou diminua completamente para responder.

O XLR8Harder reconhece que o teste tem falhas, como “ruído” devido a erros de provedores de modelos. Também é possível que os modelos de “juiz” contenham vieses que podem influenciar os resultados.

Mas, supondo que o projeto tenha sido criado de boa fé e os dados sejam precisos, o SpeechMap surge algumas tendências interessantes.

Por exemplo, o SpeechMap mostra que os modelos do OpenAI se recusaram cada vez mais a responder a instruções relacionadas à política. Os modelos mais recentes da empresa, a família GPT-4.1, são um pouco mais permissivos, mas ainda são um dos lançamentos do OpenAI no ano passado.

Openai disse em fevereiro que seria Ajuste os modelos futuros Não adotar uma postura editorial e oferecer várias perspectivas sobre assuntos controversos – tudo em um esforço para fazer com que seus modelos pareçam mais “neutros”.

De longe o modelo mais permissivo do grupo é Grok 3Desenvolvido pela startup da AI de Elon Musk, Xai, de acordo com o benchmarking do discurso. A GROK 3 alimenta vários recursos em X, incluindo o Chatbot Grok.

O GROK 3 responde a 96,2% dos avisos de teste do SpeechMap, em comparação com a “taxa de conformidade” do modelo médio de 71,3%.

“Embora os modelos recentes do Openai tenham se tornado menos permissivos ao longo do tempo, especialmente em avisos politicamente sensíveis, Xai está se movendo na direção oposta”, disse XLR8Harder.

Quando Musk anunciou Grok há cerca de dois anos, ele lançou o modelo de IA como nervoso, não filtrado e anti-“acordou”-em geral, retratando-o como disposto a responder a perguntas controversas que outros sistemas de IA não o fariam. Ele cumpriu parte dessa promessa. Disponível para ser vulgar, por exemplo, Grok e Grok 2 obrigariam felizmente, vomitando linguagem colorida que você provavelmente não veria de artistas como Chatgpt.

Mas modelos Grok antes do GROK 3 waffled em assuntos políticos e não cruzaria certos limites. Na verdade, Um estudo descobriram que Grok se inclinou para a esquerda política em tópicos como direitos de transgêneros, programas de diversidade e desigualdade.

Musk culpou esse comportamento nos dados de treinamento de Grok – páginas públicas da web – e prometido “Mudar Grok para mais perto de politicamente neutro”. Com falta de erros de alto perfil como Censando brevemente menções pouco lisonjeiras ao presidente Donald Trump e Muskparece que ele poderia ter atingido esse objetivo.