Caracter.ai revela o avatarfx, um modelo de vídeo da AI para criar chatbots realistas
Personagem.aiuma plataforma líder para bate-papo e interpretação com personagens gerados pela IA, apresentou seu próximo modelo de geração de vídeo, Avatarfx, na terça-feira. Disponível em beta fechada, o modelo anima os personagens da plataforma em uma variedade de estilos e vozes, de personagens humanos a desenhos animados de animais em 2D.
Avatarfx Distingue-se de concorrentes como o OpenAI’s Sora, porque não é apenas um gerador de texto para vídeo. Os usuários também podem gerar vídeos a partir de imagens pré-existentes, permitindo que os usuários animem fotos de pessoas reais.
É imediatamente evidente como esse tipo de tecnologia pode ser alavancado por abuso-os usuários podem enviar fotos de celebridades ou pessoas que conhecem na vida real e criar vídeos de aparência realista nos quais fazem ou dizem algo incriminador. A tecnologia para criar os deepfakes convincentes já existe, mas incorporando -a em produtos de consumo populares como o caractere.ai exacerba apenas o potencial de ser usado de forma irresponsável.
Entramos em contato com o personagem.ai para comentar.
O personagem.ai já está enfrentando problemas com a segurança em sua plataforma. Os pais entraram com ações contra a empresa, alegando que seus chatbots encorajou seus filhos se auto-prejudicar, se matar ou matar seus pais.
Em um caso, um garoto de quatorze anos morreu por suicídio depois que ele teria desenvolvido um relacionamento obsessivo com um bot da IA no personagem.ai baseado em um personagem “Game of Thrones”. Pouco antes de sua morte, ele se abriu para a IA sobre ter pensamentos de suicídio, e a IA o incentivou a seguir adiante, segundo os registros do tribunal.
Esses são exemplos extremos, mas eles mostram como as pessoas podem ser manipuladas emocionalmente por chatbots da IA apenas através de mensagens de texto. Com a incorporação do vídeo, os relacionamentos que as pessoas têm com esses personagens podem parecer ainda mais realistas.
O caractere.ai respondeu às alegações contra ele, construindo controles parentais e salvaguardas adicionais, mas, como em qualquer aplicativo, os controles são eficazes apenas quando são realmente usados. Muitas vezes, as crianças usam a tecnologia de maneiras que seus pais não conhecem.
Publicar comentário