Acrescente o fato de que outras empresas de tecnologia inspiradas na abordagem Deepseek agora podem começar a construir seus próprios modelos de pensamento baratos e as perspectivas de consumo de energia são Já pesquisado Muito menos rosado.

O ciclo de vida de qualquer modelo de IA tem duas fases: treinamento e conclusões. O treinamento geralmente é um processo de um mês em que o modelo aprende com os dados. Então o modelo está pronto para conclusões que acontece toda vez que alguém pergunta no mundo. Ambos geralmente ocorrem em data centers, onde precisam de muita energia para operar chips e servidores legais.

No filme de treinamento de modelos R1, a equipe Deepseek melhorou a mistura especializada de técnicas especializadas, nas quais apenas parte dos bilhões de parâmetros do modelo – “botões” que o modelo usa melhores respostas – é ativado durante o treinamento. Além disso, eles melhoraram o treinamento de reforço, onde as saídas do modelo foram avaliadas e depois para melhorá -lo. Isso geralmente é feito pelos anotadores de uma pessoa, mas a equipe Deepseek se saiu bem sua automaçãoPara.

A introdução de uma maneira de fazer o treinamento sugere com mais eficiência que as empresas de IA usam menos energia para certos padrões para seus modelos de IA. Não é realmente como funciona.

“⁠ porque o valor de ter um sistema mais inteligente é muito alto”. escreveu Companheiro Antrópico Dario Amodei em seu blog, faz com que as empresas gastem maisNão menos, em modelos de treinamento. “Se as empresas obtêm mais pelo seu dinheiro, valem a pena gastar mais e, portanto, usam mais energia. “Os lucros de custo -eficiência são totalmente dedicados ao treinamento de modelos mais inteligentes, que é limitado apenas pelos recursos financeiros da empresa”, escreveu ele. Este é um exemplo do que é chamado de paradoxo de Yevons.

Mas isso é verdade no lado do treinamento quando a corrida da IA ​​se foi. A energia necessária para concluir é onde as coisas se tornam mais interessantes.

O Deepseek é projetado como um modelo de pensamento, o que significa que ele foi projetado para funcionar bem para coisas como lógica, achado de padrões, matemática e outras tarefas que os modelos de IA generativos típicos lutam. Os modelos de justificativa fazem isso usando a cadeia de pensamento tão chamada. Isso permite que o modelo de IA divida sua tarefa em partes e trabalhe em uma ordem lógica antes da conclusão.

Você pode ver isso com a Deepseek. Pergunte se você mente para proteger os sentimentos de alguém e o modelo primeiro lida com o utilitarismo, considerando um benefício imediato do possível futuro do futuro. A ética é então abordada, que propõe agir de acordo com o máximo, que pode ser leis universais. Antes de compartilhar conclusões, ele está considerando essas e outras nuances. (Ele descobre que mentir é “geralmente aceitável em situações onde a esquerda e a prevenção são uma prioridade, mas ao mesmo tempo sufocadas sem uma solução universal” se você estiver curioso.)

Source link