StartLux推出全球首个决策模型推理引擎，最高提速度5.3倍

雷峰网(公众号：雷峰网)消息，10月20日，DeepSeek开源了面向自家模型的高性能推理框架DeepInfer，通过优化计算算子、并行执行和任务调度，提高大规模推理的运行效率。次日，在决策模型领域取得领先成绩的中国AI公司StartLux，也宣布开源专为StartLux-Decision打造的推理引擎StartLux-Prism。从目前公开信息来看，StartLux-Prism也是全球首个专为决策模型设计并开源的推理引擎。

在单张H200显卡的实测中，针对同一份材料同时回答三个问题的场景，Prism将处理时间从基于 vLLM的原有推理方案的 92.9 毫秒缩短至 17.4 毫秒，实现最高 5.3 倍的推理加速。

数据显示，在本次测试的四类场景中，StartLux Prism的处理速度均高于原方案，达到原方案的1.2至5.3倍。在单张 H200 上用 int8 跑 v1.1 27B 模型，它回答短问题比官方引擎最快的 FP8 设置快 2.8 倍，同一份材料下三个问题的处理时间从92.9毫秒缩短至17.4毫秒，处理速度达到基于vLLM 0.31的原FP8推理方案的5.3倍。多卡部署时，Prism 同时支持 TP（tensor parallelism）和 DP（data parallelism），两者还能组合使用：TP用于缩短单个请求的处理时间，DP用于提高整体吞吐量，可根据不同需求灵活搭配。同一个请求，无论并发量如何、使用几张显卡，得到的概率都能保持逐位一致。在七个评测集、共12,351个决策中，Prism的平均准确率达到92.94%，与同一模型采用BF16原始精度运行时的92.97%基本持平。

面对决策模型，通用推理引擎的短板：问的越多，回复越慢

通用推理引擎都是为对话模型设计的，而决策模型和对话模型完全是两回事。聊天模型要一个字一个字地往外写；决策模型只做一件事：读完证据，给每个选项打一个概率。

举个例子。在StartLux公布的使用示例中，模型需要根据同一份材料连续回答三个问题，后面的性能测试也采用了这组问题。

对于每道题，决策模型只需要进行一次前向计算，就能在提示词末尾直接输出A、B、C……等选项字母的概率，得到答案。

问题是，vLLM、SGLang 这些通用引擎，天生是为写文章设计的。拿它们跑决策模型，只能把每道题拆成一次独立的补全请求：每道题都要单独走一遍 HTTP、分词、调度，对于27B模型来说，相当于再把约 24.8 万个词的完整 LM head 算一遍。同一份证据，在每道题里都要重算一次。在 H200 上，Vllm（FP8）回答 README 里的三问题请求需要92.9 毫秒，是单个问题的 1.75 倍。

而专用的推理引擎则能很好的规避这些问题。StartLux-Prism围绕决策模型的运行特点重新设计计算流程，主要包括四项创新点：

创新点一：只算答案要的0.01%

决策模型只需在有限选项中作出判断，这是它区别于对话模型的重要特点，但通用推理引擎并未充分利用这一优势。以StartLux-Decision的27B模型为例，其“字词库”约有24.8万个候选。按照通用推理流程，模型回答前要给所有候选打分，即要对这个24.8万个候选词打分；但决策题真正需要比较的，往往只有A、B、C等选项。用通用方式处理这类任务，就像一道选择题只有四个选项，考生却先把整本字典翻了一遍。

因此，Prism围绕决策任务重新设计了最后的输出环节。模型仍会完整阅读材料、理解问题，但到了输出最终判断的最后一步，Prism只计算A、B、C等有效选项的概率，不再计算其他无关内容，从而减少计算量，并且这并不是近似。softmax 本来就只在列出的选项之间做，所以和先算完整词表的概率再挑出字⺟，在数学上完全等价。

结果显示，面对一个约256 token的短问题，Prism将处理时间从StartLux原有推理服务的53.1毫秒缩短至19毫秒，速度提升至原来的2.8倍。

只算答案需要的部分：(a) 最后⼀步只给 26 个字⺟打分；(b) LM head 只算万分之⼀；(c) 最后⼀层只在输出位置算完整

创新点二：问三个问题，和问一个问题一样快

Prism还解决了重复阅读的问题。例如，一张客户工单可能需要同时判断负责团队、回复时限和问题严重程度。传统推理引擎回答一道题就重新处理一次工单，三道题相当于把同一份材料读三遍。

Prism将一批任务组织成一片“森林”：公共要求是树根，共同材料是树干，不同问题是树枝。模型只读一次共同材料，再分别回答各道问题。结果显示，同一份材料问三道题，处理时间由92.9毫秒降至17.4毫秒，处理速度达到基于vLLM 0.31的原FP8推理方案的5.3倍。

森林批处理：(a) 通⽤引擎逐题发送；(b) StartLux-Prism 把⼀批请求组成⼀⽚森林；(c) tree attention

在相同硬件条件下，更少的重复计算和更短的GPU占用时间，意味着同样的算力可以完成更多任务，也为降低单位推理成本提供了空间。

创新点三：确定性计算：系统再忙，同一个问题也不会“变卦”

决策模型交付的是判断和概率，系统可能直接依据概率决定下一步动作。同一个问题，许多决策模型上午的答案和下午完全不同，但这对业务场景来说却是完全不能接受的。普通推理引擎面对不同数量的请求时，可能采用不同的计算顺序。由于计算机处理小数时存在极细微的取舍，同一个问题得到的概率最后几位可能发生微小变化，而当这些变化发生在特殊位置时，则会完全改变答案走势。

Prism 的办法很硬核：所有 projection 都跑在 int8 Tensor Core 上，在 int32 中精确累加。因此，同一个请求无论与哪些请求共同处理、系统并发多高、是否命中缓存，使用一张还是多张GPU，输出概率都能逐位一致。结果显示，在七个评测集、共12,351个决策中，Prism采用更省资源的计算方式后，平均准确率仍达到92.94%，与同一模型按原始精度运行时的92.97%几乎一致。Prism在明显提升速度的同时，保持了原有的判断水平。

Prism还能同时处理“快问快答”和“难题深思”。简单问题可以快速回答，复杂问题则在后台继续推理，两者互不耽误。

对同一份材料继续追问时，模型也不用每次从第一页重新读起。它会记住已经看过的内容，只处理新提出的问题。在长材料测试中，这让一次追问的处理时间从48毫秒降至5.4毫秒。

(a) 先直接输出，没把握才思考；(b) 思考和直接输出共⽤⼀块 GPU，轮流上场

Prefix cache：(a) 对同⼀份证据追问，只算新问题；(b) 追问延迟

创新四：会「思考」，也不拖累别人

StartLux-Decision v1.1提供AutoThink模式：模型有把握时直接回答，没有把握时则先生成一段思考过程，最长可达4,096个token。为了处理这些需要思考的任务，Prism没有单独启动一套生成服务，而是让思考请求和直接输出请求使用同一个scheduler，共享同一块显存。

思考的提示词会放进下一个直接输出的 batch 里一起 prefill；之后每一步 decode 都 capture 成 CUDA graph，最多 64 条思考同时进行，和直接输出的 batch 轮流使用 GPU。不需要思考的新请求，最多只等一两个 decode step，不用排在别人的长思考后面。采样用的随机数来自 counter-based RNG，由问题本身决定，与同一个 batch 里的其他请求无关。在并发16 和并发 64 时，思考内容和最终概率都与一次只发一个请求时逐位相同。

速度上，Prism（int8）在 H200 上一条思考每秒约写 95 个 token；64 条同时写，总共每秒 3,832 个token。

单卡实测，四类场景处理速度均大幅提升

StartLux使用单张H200、相同的StartLux-Decision v1.1 27B AutoThink模型、相同请求和测试程序，对比Prism INT8与基于vLLM 0.31的原引擎最快FP8设置。测试覆盖短问题、多问题、带思考问题、长问题及高并发吞吐。

短问题和同一材料下的多问题请求受益最明显；材料变长后，处理材料本身占用的时间增加，优势相应收窄。请求密集到达时，Prism同样提升了整体处理能力：JevBench并发64测试中，每秒处理请求数从26.3提升至30.7，增加约17%。

为进一步发挥INT8计算能力，StartLux团队还为常用计算形状编写了专用GEMM矩阵计算内核。在H200的指定内核测试中，其计算能力达到每秒1,240至1,420万亿次INT8运算，是英伟达cuBLASLt对应实现的1.3至2.0倍。

 

H200 上的 int8 GEMM：(a) ⾃研 kernel 的数据流（TMA + warpgroup MMA）；(b) 与英伟达 cuBLASLt 的速度对⽐

从模型本身到推理引擎，系统能力越来越重要

Prism的发布，标志着StartLux已经从打造全球领先的决策模型，进一步走向模型与推理引擎协同优化。

DeepSeek的推理框架只支持自家的 DeepSeek-V4.1-Flash，核心 kernel 也都出自 DeepSeek 自己：FlashMLA、DeepGEMM、DeepEP 等。而StartLux-Prism 走的是同一条路：只服务 StartLux-Decision 模型，围绕「直接输出一个分布」重新设计。同样跑 v1.1 27B、一次发一个请求，StartLux-Prism（int8）比Vllm（FP8）快 1.2 到 5.3 倍。

两家的做法指向同一个趋势：有能力的模型厂商，会把模型和推理引擎当成一整套技术栈来交付。这背后的逻辑十分清晰。模型权重公开后，开发者可以下载部署，但最了解模型结构、性能瓶颈和实际运行方式的，仍然是模型企业自己。通用引擎需要兼容不同模型，专用引擎则可以围绕一款模型深入优化，减少多余计算，进一步释放模型性能。

StartLux正是这一趋势在决策模型领域的率先推动者，也由此完成了从模型能力、按需思考到高性能推理部署的全面布局，将决策模型的竞争推向系统能力的新阶段。

当模型能力逐渐走向成熟，单纯提供模型权重已经无法构成完整竞争力。谁能同时掌握模型研发、推理加速和规模化部署，谁才能把技术领先真正转化为产品能力、成本优势和行业影响力。从“大模型”代表DeepSeek到“小模型”代表StartLux，模型与专用推理引擎协同发展，正在成为值得关注的行业方向。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。