跳到正文
热点事件持续更新

百度开源ERNIE-5.5-Flash-Base基础模型

2 篇报道2 个报道来源6 小时前更新

先了解这件事

AI 综述

11月5日,Hacker News 首页报道,百度发布 ERNIE-5.5-Flash-Base 基础模型权重,采用稀疏 MoE 架构,总参数为280B,每个 token 激活14B参数,从零预训练使用33.5T tokens。训练上下文扩展至128K,支持微调和推理时的1M-token上下文,发布检查点未经中期训练或后训练。11月6日,The Decoder 报道确认该模型开源及上述参数、预训练规模,并称其设计上支持在微调和推理时扩展至100万 tokens;此次发布版本未经微调或后训练,百度计划后续提供后训练版本。

AI 根据报道生成 · 5 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. The Decoder
    百度开源拥有 280 billion 参数的基础模型 ERNIE-5.5-Flash-Base

    百度发布开源基础模型 ERNIE-5.5-Flash-Base,未经微调或后训练,计划后续提供后训练版本。模型采用 MoE 架构,总参数为 280 billion,每次输入激活 14 billion 参数,使用 33.5 trillion tokens 预训练,训练上下文最高为 128,000 tokens,设计上支持在微调和推理时扩展至 1 million tokens。

11月5日
  1. Hacker News 首页
    百度发布 ERNIE-5.5-Flash-Base,280B 总参数、14B 激活参数

    百度发布 ERNIE-5.5-Flash-Base 基础模型权重,采用稀疏 MoE 架构,总参数为 280B,每个 token 激活 14B 参数。模型从零预训练使用 33.5T tokens,训练上下文扩展至 128K,支持微调和推理时的 1M-token 上下文,发布检查点未经中期训练或后训练。

本事件热度走势

当前热度 16·可比范围峰值 17(11月6日 03:00)·近 24 小时可比范围变化 –

0510152011月5日19:0011月5日22:0011月6日02:0011月6日05:00

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。