Série ERNIE 4.5 da Baidu
Depois do estrago causado pelo furacão DeepSeek no início do ano, vários gigantes da IA têm tentado superar o feito. E hoje foi liberada uma série de modelos de IA com forte capacidade para repetir o efeito DeepSeek. Estamos falando da família de modelos ERNIE 4.5 da Baidu. Lançada inicialmente como código fechado em marco passado, a série foi liberada como código aberto hoje.
A série conta com modelos com contagens de parâmetros massivas. O menor modelo conta com 0.3B de parâmetros e é ideal para projetos pequenos, uso doméstico ou para execução em dispositivos móveis. Já o maior modelo da família estreia com 424B e promete competir com as melhores IAs disponíveis.
Neste post, exploraremos os detalhes técnicos por trás da família ERNIE 4.5, suas variantes de modelo, benchmarks de desempenho e aplicações.
Mudança de postura em direção ao desenvolvimento aberto
A Baidu foi uma das primeiras empresas em todo o mundo a lançar um concorrente do ChatGPT com seu Ernie original. No entanto, ele é um modelo de código fechado.
Depois do terremoto DeepSeek, todos os big players da IA já perceberam que liberar modelos como código aberto é fundamental. Além de garantir a simpatia da comunidade de desenvolvedores, a liberação de IAs com licenças permissivas permite que os interessados possam “brincar” para valer com os modelos e modificá-los para colocá-los em seus projetos. Até a OpenAI já percebeu a nova tendência e deve liberar seu novo modelo em breve. No caso da Baidu, a liberação dos modelos ERNIE 4.5 sinaliza um claro pivô em direção ao desenvolvimento aberto. Conforme o CEO Robin Li, que não tem nada de bobo, o objetivo é permitir que desenvolvedores de todo o mundo criem aplicativos de IA poderosos sem altos custos ou dependência proprietária.
Uma abordagem escalável para LLMs e VMLs
A série ERNIE 4.5 se baseia nas IAs anteriores da Baidu. A gigante chinesa tem se dedicado a explorar arquiteturas de modelos avançadas. Os modelos ERNIE 4.5 incluem tanto variantes de arquitetura densa quanto modelos esparsamente ativos (MoE). As variantes MoE são particularmente notáveis por escalarem as contagens de parâmetros eficientemente, enquanto mantêm boa capacidade de expressividade e generalização. Para se ter uma ideia da economia que isso representa, a variante MoE-47B ativa apenas 3 bilhões de parâmetros durante a inferência. Portanto, as variantes MoE da série podem ser ideais para projetos que precisam ser executados com limites ($$$) de recursos computacionais, mas que requerem modelos poderosos.
LLMs e VMLs: Conheça a família
ERNIE 4.5 possui dez variantes. Eles incluem desde modelos compactos densos (0,3B, 0,5B, 1,8B e 4B) até modelos massivos MoE (MoE-3B, 4B, 6B, 15B, 47B e 424B parâmetros totais). Estes modelos suportam tanto a quantização FP16 quanto a INT8, tornando-os adequados para uma ampla gama de aplicações.
A família conta tanto com LLMs quanto com modelos multimodais (VLMs). Os LLMs são otimizados para compreensão e geração de linguagem de uso geral. Já os VLMs se concentram na compreensão da linguagem visual e suportam os modos de pensamento e não pensamento.
Variantes da série ERNIE 4.5 (fonte).
Treinamento
O corpus de treinamento das IAs abrange 5,6 trilhões de tokens em domínios diversos, tanto em chinês quanto em inglês, utilizando a pipeline de pré-treinamento multi-etapa da Baidu. Esses dados extensos de treinamento permitem que os modelos demonstrem alta fidelidade em tarefas de seguir instruções, conversação de múltiplas rodadas, geração de longo formato e benchmarks de raciocínio.
Para o treinamento eficiente de modelos ERNIE 4.5, a equipe da Baidu usou um novo paralelismo híbrido heterogêneo e uma estratégia de balanceamento de carga hierárquica. Para inferência, os modelos MoE usam o método de colaboração paralela multiespecialista e o algoritmo de quantização de código convolucional para obter quantização sem perdas de 4 bits/2 bits.
Após o treinamento inicial, cada modelo passou por uma combinação de ajuste fino supervisionado (SFT), otimização de preferência direta (DPO) ou um método de aprendizado por reforço modificado denominado Otimização de Preferência Unificada (UPO) para pós-treinamento.
Benchmarks de Desempenho
Os modelos ERNIE 4.5 mostram melhorias significativas em várias tarefas de NLP chinesa e multilíngue. Conforme o relatório técnico oficial:
No CMMLU, ERNIE 4.5 supera suas versões anteriores e alcança a precisão de estado da arte em compreensão da linguagem chinesa.
No MMLU, o benchmark multilíngue, a variante ERNIE 4.5-47B demonstra desempenho competitivo com outros grandes modelos de linguagem como o GPT-4 e o Claude.
- Para a geração de textos de longo formato, ERNIE 4.5 alcança pontuações mais altas de coesão e fatoicidade quando avaliados com os métricos internos da Baidu.
A versão ERNIE-4.5-300B-A47B-Base supera o Deepseek-V3-671B-A37B-Base em 22 dos 28 benchmarks testados. Porém, até o momento, não há comparações publicadas com líderes do setor como R1 da Deepseek, o3 da OpenAI, Claude 4 ou Gemini 2.5 Pro.
Capacidade multilíngue
Os modelos ERNIE 4.5 demonstram um desempenho particularmente forte em chinês e inglês, conforme evidenciado por seus resultados em benchmarks como C-Eval (conhecimento avançado e raciocínio entre disciplinas) e CMMLU (língua e cultura chinesas). No entanto, os modelos da série são capazes de lidar com outros idiomas globais importantes. Mas informações detalhadas sobre a extensão ou profundidade do suporte para idiomas além do chinês e do inglês não são especificadas na documentação oficial ou nos relatórios técnicos disponíveis.
Aplicações
Os modelos ERNIE 4.5 são otimizados para uma ampla gama de aplicações:
Chatbots e assistentes: o suporte multilíngue e o alinhamento com a execução de instruções tornam os modelos adequados para assistentes de inteligência artificial.
Busca e resposta a perguntas: a alta fidelidade de recuperação e geração permitem a integração com pipelines RAG.
Geração de conteúdo: a geração de textos longos e conteúdo rico em conhecimento é alcançada com uma base factual sólida.
Tarefas multimodais: embora os LLMs da série se concentrem em tarefas de linguagem, os VLMs são compatíveis com aplicações multimodais.
Licença
Para alegria geral, os modelos ERNIE 4.5 são fornecidos sob a Licença Apache 2.0. Esta licença permite o uso comercial, sujeito aos seus termos e condições.
Onde encontrar
As IAs podem ser encontradas no repo do GitHub, mas também em plataformas como a Hugging Face.
Conclusão
A liberação série ERNIE 4.5 representa mais um passo significativo no desenvolvimento de inteligência artificial de código aberto. A série oferece um conjunto variado de modelos adaptados para tarefas escaláveis, multilíngues e alinhadas com instruções. Com documentação completa, disponibilidade aberta e suporte para implantação eficiente, a família ERNIE 4.5 está posicionada para ser uma ótima notícia para desenvolvedores que querem usar todo o poder da IA em seus projetos com liberdade.
Fique de olho por mais atualizações sobre os últimos desenvolvimentos em inteligência artificial e modelos de linguagem!
