博客 / WEEKLY #003

Jev 能用来做什么?把判断交给模型,把结果交给程序

筛选记忆、标记好友、提取待办:当任务需要的是一个分数或判断,模型怎样才能真正融入工作流?

三百多条记忆留在一个 AI 助手里,哪些值得保留,哪些只是已经过时的琐事?让模型写一篇总结,并不能直接完成清理。程序最终需要的是每条记忆的取舍依据:一个分数,或者一个保留与删除的判断。

Jev 所面向的,正是这一类任务。选择、评分、是非判断,都可以成为后续程序直接使用的结果。在一个已经能够理解需求、规划步骤的 Agent 里,这种能力可以承担更细小、也更频繁的一部分工作。

从三百条记忆到一万个好友

一次针对 Cola 的试用,把三百多条记忆交给 Jev 打分。模型整理出了约十八条它认为比较重要的内容,更倾向于保留抽象信息,对零碎琐事则更愿意舍弃。

这个结果提供了一种观察模型的方式:它如何理解“重要”,是否符合记忆主人的需要。十八条是这次筛选的结果,并不是经过评测得出的最优数量。

另一个试验的规模更大:根据聊天记录和共同群组,为约一万名微信好友打标签。候选标签有二十多个,涵盖 CTO、创始人等身份,一个人可以同时符合多项。

任务最初被设想成一次返回多个标签,后来改成逐项判断:是否符合第一个标签,是否符合第二个标签,依次执行。一个多选问题,被拆成了一组是非题。

这种拆法让任务更贴合模型的输出形式。不同好友、不同标签之间没有依赖顺序的判断,可以并行发起,不必等上一项完成才处理下一项。模型负责给出结果,程序负责调度和汇总。

截至这次试验被记录时,一万名好友还没有全部处理完,与其他小模型的对照也没有完成。这个案例已经展示了任务拆分的方式,准确率和完整处理耗时则仍待验证。

高频判断才容易放大收益

给好友打标签只是其中一种用法。扫描每天的聊天记录,找出待办事项和重要信息,同样包含大量重复判断;给联系人按规则评分、辅助整理好友列表,也有类似的结构。

这些任务的共同点是数据量大,而且同一种判断需要执行很多次。单次调用的时间和成本,才会在反复执行中积累成可感知的差异。

反过来,如果某个环节只占总工作量的 1%,即使将它的开销减少 90%,整体也只改善了 0.9%。把工作流里偶尔发生的一次调用换成更快的模型,未必值得为此增加一套接入逻辑。

选择场景时,值得先看清楚判断发生在哪里、一天发生多少次,以及它究竟占了多少开销。记忆筛选便于观察模型的取舍,批量标签更适合检验吞吐量,两者不必用同一把尺子衡量。

返回结果,不等于判断正确

结构化结果解决了程序如何接收答案的问题,但答案是否可信,还需要另一层验证。

一个分类结果可以完全符合格式,却把人分错类别;一个分数可以稳定返回,却不符合使用者对重要程度的理解。程序不再需要为格式错误重试,不代表它可以省去对判断质量的检查。

因此,关于“没有幻觉”的表述需要谨慎理解。若承诺针对的是输出形式,就不能把它扩展成所有答案都正确。好友标签任务最终仍要回到具体问题:哪些人被标错了,哪些标签容易混淆,错误是否影响后续使用。

这次试用所依据的资料还列出了多跳推理、复杂指代、计算与日期处理等限制。一个问题如果需要绕几层关系才能得出答案,就不能仅凭输出简短,把它当成简单判断。无关上下文也可能干扰准确率,前置清理与信息筛选仍有作用。

在现有 Agent 里安排好它的位置

实际接入时,可以先让现有 Agent 阅读模型资料,再结合具体场景搭建原型。但原型能运行之后,还要处理请求类型、调用方式和现有工作流之间的差异。

一个独立演示只需证明某种用法可行,日常工作流则要反复处理真实数据。模型在哪一步被调用、返回什么、结果如何进入下一步,都需要明确。

这也决定了 Jev 值得尝试的位置:规则很难写全、需要语义理解,又要高频执行的判断环节。复杂推理可以继续交给其他模型,确定性的计算可以继续交给程序。至于某一步是否值得替换,应该由这一环节的质量、速度和接入成本共同回答。

从记忆打分到好友标签,真正需要验证的始终是具体任务。能返回一个分数只是起点;这个分数能否帮助程序做出更好的取舍,才决定它能不能留在工作流里。

相关资料