博客 / WEEKLY #004

什么时候值得把前沿模型换成自己的小模型?

换成开源或自训模型降本,前提是业务已经稳定、质量要求可以独立验证。本文讨论这个决定该在什么条件下做出。

每当有公司宣布用开源模型替换前沿模型、成本大幅下降,评论区总会出现“其他公司是不是也该这么干”的讨论。录制时的判断很明确:这个决定不是技术选型的起点,而是业务成熟度的结果。把顺序弄反,省下的模型费用远抵不上丢掉的质量。

先有资格谈替换

替换模型的前提,是业务闭环已经稳定:产品找到了自己的市场,收入流程跑通,把模型换掉之后整条链路仍然成立。达到这个状态的公司,才谈得上“降本”——因为在替换之前,它们已经能独立回答“质量够用”是什么标准。而绝大多数公司连产品与市场的匹配都还没找到,此时的正确选择是把能力用足,而不是省钱。

新闻容易制造错觉:一家头部公司换了模型,看起来像是所有公司的下一步。实际能走这一步的,是那些已经用前沿模型把业务验证过、把流程打磨好的少数。对多数团队,“不用最新模型就会被竞争对手干掉”的担忧,比“用了太贵的模型会拖垮毛利”的担忧更接近现实。

一个被转述的案例说明了什么

讨论中被反复引用的案例,按转述的口径是:一家法律行业的企业服务公司,早期每收到一美元收入,要向模型厂商支付更高的成本;后来基于一个开源大模型训练了自己的模型,毛利率才转正。收支数字未经独立核实,但这个案例的机制值得拆开:替换发生在模型支出大到影响毛利的时候,发生在任务足够稳定、可以系统性评估的时候,也发生在垂直场景足够封闭、数据足够专有的时候。三个条件同时满足,替换才是理性的。

质量够用,要用场景里的指标定义

“换成小模型效果差不多”这种说法,需要先追问:用什么指标、在哪些环节验证的。录制时转述的另一个例子是,某产品的负责人声称在其场景里,小模型与前沿模型的互动率相当。互动率是一个真实的业务指标,但它是聚合结果——整体互动率相同,不代表每个环节同样可靠;摘要、判断、执行各部分的质量分布,仍可能差异很大。

能做这种验证,本身就是一个资格条件。有真实使用数据、可以对新旧模型做对照测试的团队,才有依据下结论;没有数据闭环的团队,连“差不多”都无法证明。所以合理的顺序是:先定义产品需求和质量标准,建立独立评估,再让替换的决定由评估结果做出,而不是由成本压力直接做出。

垂直和封闭的场景更容易成立

案例里的公司处在法律行业——壁垒高、流程封闭、责任明确。类似的结构还出现在面向医生的医疗、建筑设计这类领域:数据专有,错误代价高,客户为结果而非为模型付费。在这些场景里,模型只是生产要素之一,换掉它不改变产品的根基。

反过来,日常性、通用性的场景——比如视频生成这类大家都能做的垂类——壁垒本来就薄,产品价值与模型能力贴得很近,替换模型的自由度反而小:模型就是产品力本身。判断自己的处境属于哪一类,比研究别人怎么换更重要。

录制时还提到一种配套的产品方向:既然模型能力对多数用户是黑盒,产品可以把模型选择收进去,给用户一个自动档,由产品方负责调度和质量。把模型列表从界面里拿掉,把选择的责任接回产品一侧,本身就是“壁垒在产品”的一种体现。这里还藏着一个检验壁垒的办法:如果换掉前沿模型之后业务依然成立,说明壁垒在产品、数据和流程里;如果一换就垮,说明此前引以为傲的壁垒其实是模型租来的。

时机也是成本问题

替换的收益随时间变化。推理成本整体在下行,而运行 Agent 所需的算力硬件价格在上行,一降一升之间,自训与自建的账要反复重算。硬件那一侧还有一条讨论中引用的老规律:可用性变高会带来更多使用,效率提升并不减少总算力需求。免费产品能支撑大量日常交互,说明小模型已经接得住许多普通任务;但“接得住普通任务”与“接得住你的核心任务”是两回事。

把前沿模型换成自己的小模型,值得做、也做得成的时机是:业务稳定、指标明确、数据在手、垂直场景足够深。四条缺任何一条,更理性的选择仍是继续用最强的模型,把精力花在还没验证的产品假设上。替换是能力验证通过后的结果,不是省钱的起点。

相关资料