Openai promete fazer alterações para impedir a silcofância futura do chatgpt

Openai diz que fará mudanças Para a maneira como ele atualiza os modelos de IA que o Power ChatGPT, seguindo um incidente que fez com que a plataforma se tornasse excessivamente bajuladora para muitos usuários.

No fim de semana passado, depois que o OpenAi lançou um ajuste GPT-4O – O modelo padrão alimentando ChatGPT – os usuários nas mídias sociais observaram que o ChatGPT começou a responder de uma maneira excessivamente validada e agradável. Rapidamente se tornou um meme. Os usuários postaram capturas de tela de chatgpt aplaudindo todos os tipos de problemas, perigoso decisões e idéias.

Em um post no X no domingo, o CEO Sam Altman reconhecido o problema e disse que o OpenAI funcionaria em correções “o mais rápido possível”. Dois dias depois, Altman anunciado A atualização do GPT-4O estava sendo revertida e que o OpenAI estava trabalhando em “correções adicionais” para a personalidade do modelo.

A empresa publicou um post -mortem Na terça -feira, e em um post de blog na sexta -feira, o OpenAI se expandiu em ajustes específicos que planeja fazer em seu processo de implantação de modelos.

O OpenAI diz que planeja introduzir uma “fase alfa” de opção para alguns modelos que permitiriam a certos usuários do ChatGPT testar os modelos e dar feedback antes do lançamento. A empresa também diz que incluirá explicações de “limitações conhecidas” para futuras atualizações incrementais dos modelos no ChatGPT e ajustam seu processo de revisão de segurança para considerar formalmente “questões de comportamento do modelo” como personalidade, engano, confiabilidade e alucinação (ou seja, quando um modelo inventa as coisas) como preocupações de “bloqueio de lançamento”.

“No futuro, nos comunicaremos proativamente sobre as atualizações que estamos fazendo nos modelos no ChatGPT, seja ‘sutil’ ou não”, escreveu o Openai na postagem do blog. “Mesmo que esses problemas não sejam perfeitamente quantificáveis ​​hoje, nos comprometemos a bloquear os lançamentos com base em medições de proxy ou sinais qualitativos, mesmo quando métricas como testes A/B parecem bons”.

As correções prometidas vêm à medida que mais pessoas se voltam para o Chatgpt para obter conselhos. De acordo com uma pesquisa recente Por um financiamento jurídico do Financer Express, 60% dos adultos dos EUA usaram o ChatGPT para procurar um advogado ou informações. A crescente dependência do ChatGPT – e a enorme base de usuários da plataforma – levanta as apostas quando surgem questões como a extrema bajulação, sem mencionar alucinações e outras deficiências técnicas.

Como uma etapa mitigatória, no início desta semana, o Openai disse que experimentaria maneiras de permitir que os usuários dêem “feedback em tempo real” para “influenciar diretamente suas interações” com o ChatGPT. A empresa também disse que refinaria as técnicas para afastar os modelos da bajulação, potencialmente permitiria que as pessoas escolhessem de várias personalidades modelo, construam corrimões de segurança adicionais e expandam as avaliações para ajudar a identificar problemas além da bajulação.

“Uma das maiores lições é reconhecer totalmente como as pessoas começaram a usar o ChatGPT para conselhos profundamente pessoais – algo que não vimos tanto há um ano”, continuou o Openai em sua postagem no blog. “Na época, esse não era um foco primário, mas, como a IA e a sociedade co-evoluíram, ficou claro que precisamos tratar esse caso de uso com muito cuidado. Agora será uma parte mais significativa do nosso trabalho de segurança”.