商业化 agent 链路试用实验 · 高阶版(最优桶)vs 基础版(对照)
"高阶版转化率负向"在当前样本下并不成立。 售前人机转化率 14.9% vs 对照 17.7%,看似低 2.8pp,但样本功效不足、统计不显著(95% 置信区间 -0.7pp ~ +6.2pp,跨 0)。更关键的是——占一半流量的核心意图"商品咨询"两组转化几乎完全相同(16.2% vs 16.4%,p=0.94)。bot 应答能力没变差,问题不在"会不会答",而在"答完能不能收口成交",是典型的"能力已达标、缺临门一脚"的促单闭环问题。
口径警告:这 3 天两组付款人数都在 135~146(分子偏小),任何单指标正负都不足以判决版本"有效/无效";本报告价值在于定位结构性问题而非判决版本。
| 指标 | 基础版(对照) | 高阶版(实验) | 差值 | 是否显著 |
|---|---|---|---|---|
| 售前人机转化率 cvr | 17.68%(146/826) | 14.92%(135/905) | -2.76pp | 否(p=0.12) |
| 纯机转化率 auto_cvr | 15.48% | 13.14% | -2.34pp | 否(p=0.14) |
| 自动付款贡献率 | 100.0% | 99.26% | 基本持平 | — |
| 转人工率 | 极低 | 极低 | — | — |
| 对话深度 | 基础版 cvr | 高阶版 cvr | 差值 | 高阶版 UV 分布 |
|---|---|---|---|---|
| 短(1-2 轮) | 12.66% | 9.47% | -3.2pp | 95(基础 158) |
| 中(3-5 轮) | 18.37% | 15.88% | -2.5pp | 296 |
| 长(6-10 轮) | 18.43% | 13.04% | -5.4pp(最大) | 299(占比最高) |
| 超长(>10 轮) | 22.52% | 19.02% | -3.5pp | 205(基础 111) |
| 售前意图 | 流量占比 | 基础版 cvr | 高阶版 cvr | 差值 |
|---|---|---|---|---|
| 商品咨询(主战场) | ~一半 | 16.35%(477UV) | 16.16%(495UV) | -0.19pp 持平(p=0.94) |
| 未打标意图 | ~1/3 | 19.38%(289UV) | 16.76%(352UV) | -2.6pp |
| 活动咨询 | 小 | 32.50%(40UV) | 27.78%(36UV) | -4.7pp(小样本) |
| 商品推荐 | 小 | 23.81%(21UV) | 10.00%(30UV) | -13.8pp(3/30) |
现状:用户把参数问清(内存卡兼容/机械钥匙数/是否免费安装/是否插电)后,bot 答完即停,没有一句催单。
动作:应答后强制追加"① 紧迫感(现货速发/活动倒计时/内存卡限时优惠)+ ② 背书(销量/复购/同款都在买)+ ③ 低风险(免费上门/7 天无理由/正品保障)",并以一句"我帮您拍下这款好吗"主动收口。
case:智能锁接待、C6C 接待(答完秒发满意度邀评→用户转头要人工)现状:bot 一次给两款让用户"更倾向哪款",把决策踢回用户造成瘫痪。
动作:先问清关键约束(场景/预算/是否要旋转)→ 收敛到 1 款 → 给"就选它"的唯一理由 → 主动催拍。禁止一次甩多张卡片。
case:仓库摄像头推荐(同推 C6C 精灵球 + CB60 小魔方并问"更倾向哪款"→ 无下文流失)现状:bot 答完单个问题就秒发满意度邀评/"确认收货地址",节奏过快,用户还没被说服就被"结束"。
动作:邀评/收口前先做一轮促单动作;识别到明确下单信号再引导确认收货。
对"问正品/发票/退换/成交前找人工"等高意向要人工信号,先用 bot 兜一轮促单或明确承诺人工回访时间,避免非营业时段用户白喊一声就流失(这条独立于"临门一脚",是转人工链路的漏损)。
"未打标"占约 1/3、且高阶版更多(352 vs 289 UV),是大盘微负的重点嫌疑。回对话表拿买家真实首句逐层打标后——它不改变主结论,反而暴露两个被掩盖的技术性问题(售前分母虚高、要人工接不住)。
| 类别 | 基础版 UV | 高阶版 UV | 性质 |
|---|---|---|---|
| 售后混入(关灯/物流/排障) | 173 | 215 | 不该计入售前分母 |
| 无 agent 记录(直接下单/未触发) | 4 | 2 | 忽略 |
| 售前有对话但未打标 | 112 | 135 | 见附2 补标 |
| 补标意图 | 基础版 cvr(UV) | 高阶版 cvr(UV) |
|---|---|---|
| 商品咨询/参数 | 27.6%(29) | 24.3%(37) |
| 商品推荐/选型 | 33.3%(12) | 17.7%(17) |
| 活动/价格 | 33.3%(3) | 16.7%(6) |
| 泛/其他(见附3) | 15.7%(51) | 11.1%(54) |
| 重新归类 | 基础版 | 高阶版 | 典型原话 |
|---|---|---|---|
| 商品咨询/参数(关键词漏覆盖) | ~21 | ~16 | 可以挂墙上吗/能放户外吗/无线吗/双摄的有吗/适配你家锁吗 |
| 售后·设备故障(混入) | ~12 | ~12 | 摄像头坏了/老是掉线/联不上/视频加载不出来 |
| 主动要人工/转人工 | ~8 | ~15 | 人工客服/转人工/我需要人工/可以打电话吗 |
| 正品·发票·退换 | ~1 | ~3 | 是不是正品/可以开13%专票吗/买回来不好用可以退吧 |
| 真·泛开场(无实质诉求) | ~6 | ~8 | 亲在吗/您好!/听不懂/没找到/这个是什么 |