百度开源拥有 280 billion 参数的基础模型 ERNIE-5.5-Flash-Base

Baidu releases ERNIE 5.5 Flash Base with 280 billion parameters as an open-source foundation model

百度发布开源基础模型 ERNIE-5.5-Flash-Base，未经微调或后训练，计划后续提供后训练版本。模型采用 MoE 架构，总参数为 280 billion，每次输入激活 14 billion 参数，使用 33.5 trillion tokens 预训练，训练上下文最高为 128,000 tokens，设计上支持在微调和推理时扩展至 1 million tokens。