Loading...

速度快193倍、成本低444倍——只做“选择题”的Jev爆火出圈

2026-09-22

刚刚过去的周末,一个叫 Jev的模型 在开发者社区迅速出圈。 它不能像ChatGPT那样陪人聊天,不能写长文,也不会一本正经地生成代码。 它的工作更像一道高频选择题:继续还是停止?通过还是拦截?这封邮件该转给谁? 看起来能力被“砍掉”不少,为什么反而火了? 因为Jev瞄准的就是一件事情:判断,在“零幻觉”的基础上做判断。 一个叫Jev的模型在开发者社区迅速出圈 Jev由ChatGPT联合创始人Diogo Almeida主导开发。他在X上写道: “参与共同发明ChatGPT之后,我一直在问自己:为什么超人级别的聊天模型没有带来AGI?” 两年隐身研发后,他给出了自己的答案—— 一套全新的决策模型, 或许比更强的聊天更有效。 根据TypeSafe官网公布的测试数据, Jev在自动化工作流任务上比现有大语言模型快193.6倍,成本低444.6倍。输入每百万Token仅需0.042美元,输出Token免费。 上线后需求量一度超出预期,API短暂无法正常响应。 上线后需求量一度超出预期 目前,Jev已向所有用户开放,无需候补名单, 注册即获5美元额度(约1.2亿Token)。 Jev已向所有用户开放 一个人,两件相反的事 Diogo Almeida的履历有一种内在张力。 他曾在OpenAI参与构建RLHF(基于人类反馈的强化学习)和InstructGPT,这套方法直接催生了ChatGPT。 然后他离开了,开始反思这套方法。 他在一场演讲中直接提出问题: “今天的AI已经能挑战高等数学,为什么企业还是不敢把客服决策交给它?” 他的答案是:“今天的AI非常擅长协助,但还不擅长自动化。” 协助,是人坐在屏幕前,AI帮你干活,你来检查。 自动化,是人根本不在场,AI在后台自己判断、自己执行。 Almeida把问题指向了RLHF本身。他在演讲中说:“为什么今天的大模型总需要有人在回路里?因为训练它的时候,我们字面意义上就把人塞进了那个回路里。” RLHF让模型学会了一件事:什么样的回答,人更喜欢? 这对聊天产品是优点。但对自动化系统,却是问题所在。 创始人抛出自己的问题 Jev是什么:一个会做判断的函数 TypeSafe官网将Jev定义为:“把非结构化状态输入,输出类型化的概率决策。” 换成人话: 你给它一段信息,它告诉你答案是什么,以及它有多大把握。并且不会产生一点幻觉。 它不生成文字。它只做三件事: Noul :是非判断,返回一个0到1之间的概率,代表某件事为真的可能性 Choice :从预定义列表中选一项,最多支持255个选项,适合分类和路由 Score :按照设定的尺度打分,用于衡量紧迫程度、质量或风险 每次回答都附带完整的概率分布和置信度。强类型输出,不需要写JSON提示词,不需要额外解析器。 TypeSafe官网将Jev定义为:把非结构化状态输入,输出类型化的概率决策 为什么快,为什么便宜 普通大语言模型生成答案的方式是:一个Token一个Token地往外输出,每个Token都依赖上一个。 Jev的采样方式是并行的。所有输出在一次查询中同时生成。这是速度差距的根本来源。 根据TypeSafe官网数据: Jev端到端响应时间:70毫秒至500毫秒 现有前沿模型:3秒至329秒 速度差距:40倍至200倍(System One类型任务) 价格方面: Jev输入:每百万Token 0.042美元(每十亿Token 42美元) 现有前沿模型输入:每百万Token 0.20美元至10美元 输出Token:免费 图为漫画图 TypeSafe官网注明,193.6倍速度提升和444.6倍成本降低的数据,来自其自动化工作流评测,“预计这些数字处于实际收益的较高端”。评测由公司模型能力团队成员制作,存在一定偏差可能性。 “校准”才是真正的核心 速度和价格之外,TypeSafe强调的另一个关键词是“校准”。 现有大语言模型即使被要求给出置信度,也往往过度自信且不一致。TypeSafe官网指出: “如果一个模型能完成某项任务95%的时间,但不告诉你它什么时候处于那5%,它就无法自动化那项任务。” 为此,TypeSafe开发了新的训练方法RLCD(Reinforcement Learning for Calibrated Decisions,校准决策强化学习)。 目标是:如果模型说某件事有80%的概率,那么在它判断为80%的一批事情里,最终应该真的有大约80%发生。 这在自动化系统里直接决定了如何分配任务: 置信度 > 90%:直接自动执行 置信度在70%至90%之间:交给更强的大模型复核 置信度 < 70%:转给人来决策 Earendil公司CTO Armin Ronacher对此解释道: “归根结底,这种方式将幻觉问题的处理责任稍微转移到了用户身上。用户需

about image

5场2分2球垫底:热刺花超3亿英镑后,问题出在哪
5场2分2球垫底:热刺花超3亿英镑后,问题出在哪

为篮球爱好者提供专业的战术培训课程,帮助提升球员的战术执行力和团队配合能力。...

朱一龙檀健次电影《空枪》香港定级三级片!港版160分钟一刀不剪
朱一龙檀健次电影《空枪》香港定级三级片!港版160分钟一刀不剪

为篮球爱好者提供专业的战术培训课程,帮助提升球员的战术执行力和团队配合能力。...