spinf-serve 发布开源推理服务器，单次读取内容完成批量评分与决策
Show HN: Spinf-serve – inference server for bulk scoring and decisions
spinf-serve 发布 0.1 版推理服务器，以 Apache 2.0 开源，单次读取内容即可回答多个问题并返回各选项的概率。它支持单张 24 GB NVIDIA GPU 部署和 OpenAI 兼容 API，面向批量吞吐，并支持从同次读取中提取文本、数字和金额。
Show HN: Spinf-serve – inference server for bulk scoring and decisions
spinf-serve 发布 0.1 版推理服务器，以 Apache 2.0 开源，单次读取内容即可回答多个问题并返回各选项的概率。它支持单张 24 GB NVIDIA GPU 部署和 OpenAI 兼容 API，面向批量吞吐，并支持从同次读取中提取文本、数字和金额。