Skip to content
Hacker News front pageMaverick617

Show HN: Janus – Go binary that runs GGUF models via Vulkan on AMD/Intel/Nvidia

Janus 是单个 Go 二进制程序,可通过 llama.cpp 的 Vulkan 后端在 AMD、Intel、NVIDIA GPU 上运行 GGUF 模型,也支持 CPU,并提供 OpenAI 兼容 API 和内置 Web UI。

Read the original ↗Export Markdown