← 返回博客

博客

Agent 上线,比 Demo 难十倍

一位中小企业经营者与 AI 社媒运营助手一起工作:左边是一篇已经生成的帖子,右边是内容日历、资料核验、风险提醒和发布审批

用 Codex 做出一个不错的 Agent Demo 已经不难。真正难的是把它放进真实业务,让系统敢为每一次结果负责。

我最近在做一个社媒运营 Agent,想解决中小企业没钱、没人专业运营账号的问题。

大公司可以养一支团队,研究市场、制定策略、写内容、做设计。中小企业往往只能让老板或某个员工顺手发几条,忙起来账号就停在那里。

Agent 给了这件事一种新可能。以前要雇一群人完成的工作,现在可以先「雇」一支 AI 团队:它理解公司和客户,规划内容,再完成选题、文案、配图和发布。用户不必执行每一步,只在关键地方做判断——方向对不对,这是不是我想说的,能不能代表公司发出去。

这套东西用 Codex 做 Demo,比我预想中容易得多。给它一些公司资料、目标客户和参考内容,它很快就能写出一篇像样的帖子,配好图片,再放进发布队列。整个流程跑起来,已经很有产品的样子。

可当我真想把它交给用户,工作量突然大了一个数量级。

如果一定要给这种体感一个数字,我会说:做一个能上线的 Agent,至少比做同等规模的传统软件难十倍。

一篇好帖子,只是一个样本

Demo 里的题目通常是准备好的。资料比较完整,目标也很清楚;模型写偏了,我可以换种说法再试,几个版本里总能挑出一篇不错的。

真实用户不会这样配合。他可能只说:「最近想聊聊 Agent,别太像行业报告。」

Agent 要自己判断写什么、参考哪些材料、用户真正认同什么,以及「别像行业报告」具体是什么意思。换个话题,调整一下上下文,结果都可能变样。

更关键的是,用户需要的不是某一次灵光乍现,而是在接下来几周里稳定发出一批内容。它们不能互相重复,语气要像同一个人,还要跟得上业务变化。

一篇好帖子只能说明系统成功过一次。上线要面对的是接下来每一次。

Agent 会正常地做错

传统软件上线也很麻烦,要补权限、异常、性能和监控。但它的大部分行为由人提前写好:点哪个按钮,进入什么状态,接口成功后发生什么,规则相对明确。

Agent 多了一层运行时判断。

一篇帖子最后写成什么样,会同时受到模型、用户资料、历史内容、检索结果和工具返回值影响。工程师没有写下每一个分支,也不可能提前看过所有结果。

于是会出现一种很麻烦的错误:模型正常返回,图片生成成功,发布接口也没有报错,可它写下的观点并不属于用户,引用的数据已经过期,或者同一个结论上周刚发过。

从技术监控看,一切正常。从业务角度看,这篇内容根本不该发。

传统软件的很多错误会报错,Agent 的错误常常藏在意思里。系统除了检查「有没有执行成功」,还得判断「做的事情对不对」。后面这件事,没有一个状态码能告诉你。

Demo 里藏着一个人

很多 Agent Demo 看起来是自动完成的,背后其实一直有人在帮忙。

演示者会挑选适合的题目,补充缺失的背景,第一版不好就重新生成,再从几个版本里选出最好的一篇。最后还要检查事实、语气和品牌风险。

Agent 负责生成,人仍然负责理解、筛选和验收。

真正上线后,这些工作不能继续靠演示者临场发挥。系统要知道什么时候追问,哪些信息必须核实,哪些内容需要用户确认。它还要记住用户改了什么,同时分清这是长期偏好,还是只适用于这一次。

我想做的「用户只负责判断」,也不是简单地把人移出流程。人的位置变了:从反复执行,退到少数真正需要品味、业务常识和责任的节点上。

时间和发布,会把偶然错误放大

单篇内容看不出的问题,连续运营很快就会暴露。

选题开始重复,语气越来越像模板,旧内容与新观点互相打架。公司的业务重点会变,参考资料会过期,模型和平台规则也一直在更新。

发布还会改变外部状态。草稿写错了可以重来,内容一旦发出去,已经产生的阅读、截图和印象很难完全撤回。

这时,评价 Agent 不能只看平均写得好不好,还要看它偶尔犯错时会替用户说出什么,系统能不能在发布前把它拦下来。

Demo 跑几次,很容易只看到能力。生产环境运行得足够久,那些低概率的问题迟早都会遇到。

上线的工作,大多在模型外面

一个演示级 Agent 能生成内容、调用工具,就足够让人眼前一亮。真正上线,还要补上几件不那么酷、却更重要的事:

  • 目标要清楚:不能只看生成了多少,还要看用户愿意发布多少、修改多少,事实错误和内容重复出现了多少。
  • 质量要能检查:重要信息要有来源,内容要与历史观点一致,不确定的地方要主动露出来。
  • 权限要有边界:选题和草稿可以更自主,敏感表达与最终发布需要更严格的确认。
  • 失败要能收场:平台超时、定时失败、重复发布和错误内容,都要有明确的处理方式。
  • 过程要能还原:一篇帖子用了什么资料、经过哪些修改、由谁确认、最终发布了哪个版本,都应该查得到。

这些能力都不在模型本身里面,却决定了我们敢不敢把账号交给 Agent。

做到这里我才真正理解,Demo 并不是生产系统的缩小版。它更像一次能力展示:先让你看见这件事可能发生。接下来的产品工作,是给这种能力补上边界、检查和兜底。

下一篇,讲怎么把它做出来

这篇说的是为什么难,下一篇我想继续写:一个生产级 Agent 到底应该怎么做。

我一直很喜欢 Anthropic 那篇 《Building effective agents》。它没有把 Agent 讲成越复杂越高级的东西,给出的建议反而很朴素:先找到最简单的可行方案,只有结果确实变好时才增加复杂度;明确的任务交给固定工作流,需要灵活判断的地方再交给 Agent。

这个判断放到社媒运营里特别实用。哪些步骤应该写死,哪些可以让模型决定?用户应该在哪些地方出现?怎样检查一批内容是真的越来越好,而不是越来越像?

这些是我接下来想拆的问题。

Demo 让人看到 AI 会什么。真正的产品,要让人敢把账号交给它。