跳到正文
Hacker News 首页

Ternlight:一个 7 MB 的嵌入模型,在浏览器 CPU 上跑,不调接口

Ternlight – 7 MB embedding model that runs in browser (WASM)

Ternlight 把文本嵌入模型压缩到 7 MB,通过 WASM 直接在浏览器 CPU 上运行,单次 embed 调用约 5 毫秒。它打包成一个 npm 包,没有模型下载步骤,也不依赖服务端。另外还有一个 5 MB 的 mini 版本,演示里用它给 React 文档做了语义搜索。

推荐理由:Ternlight 将嵌入模型打包为浏览器端 npm 包,并用 React 文档语义搜索演示了无需服务端的本地检索实现路径。

读原文 ↗导出 Markdown