Carregando agora

Esta ferramenta estima quanta eletricidade suas mensagens de chatbot consomem

Esta ferramenta estima quanta eletricidade suas mensagens de chatbot consomem

Você já se perguntou quanta eletricidade você está usando quando solicita ou agradece um modelo de IA? Abraçando o engenheiro de rosto Julien Delavande, então ele construiu uma ferramenta Para ajudar a chegar à resposta.

Os modelos de IA consomem energia cada vez que são executados. Eles são executados em GPUs e chips especializados que precisam de muito poder para realizar as cargas de trabalho computacionais associadas em escala. Não é fácil definir o consumo de energia do modelo, mas é largamente esperado O uso crescente de tecnologias de IA gerará necessidades de eletricidade a novos patamares nos próximos dois anos.

A demanda por mais energia para alimentar a IA levou algumas empresas a buscar ambientalmente hostil estratégias. Ferramentas como o objetivo de Delavande de chamar a atenção para isso e talvez dêem a alguns usuários da IA.

“Mesmo pequenas economias de energia podem aumentar em milhões de consultas – a escolha do modelo ou o comprimento da saída pode levar ao grande impacto ambiental”, Delavande e os outros criadores da ferramenta da ferramenta escreveu em comunicado.

A ferramenta de Delavande foi projetada para funcionar com a interface do usuário de bate-papo, um front-end de código aberto para modelos como o Llama 3.3 70B do Meta e o Gemma 3 do Google. A ferramenta estima o consumo de energia de mensagens enviadas para e para um modelo em tempo real, relatando consumo em watt-hora ou joules. Ele também compara o uso de energia do modelo com o de eletrodomésticos comuns, como microondas e LEDs.

De acordo com a ferramenta, pedindo à LLAMA 3.3 70B para escrever um email típico, usa aproximadamente 0,1841 watts-hora-equivalente à execução de um microondas por 0,12 segundos ou usando uma torradeira por 0,02 segundos.

Vale lembrar que as estimativas da ferramenta são apenas isso – estimativas. Delavande não afirma que eles são incrivelmente precisos. Ainda assim, eles servem como um lembrete de que tudo – incluindo os chatbots – tem um custo.

“Com projetos como a pontuação energética da IA ​​e pesquisas mais amplas sobre a pegada energética da IA, estamos pressionando por transparência na comunidade de código aberto. Um dia, o uso de energia pode ser tão visível quanto os rótulos nutricionais da comida!” Delavande e seus co-criadores escreveram.



Publicar comentário

ISSO PODE LHE INTERESSAR