定义
A/B 测试是一种对照实验方法:把用户或流量随机分成两组,分别体验不同版本(A 与 B),再依据预先选定的量化指标判断哪个版本效果更好。
工作方式
关键在于随机分组与控制变量:随机化让两组用户在其他条件上大体可比,实验期间只改动待验证的元素(如标题、按钮文案),指标差异才能归因于这次改动。实验还需要足够的样本量与运行时长,否则结论不可靠。
使用场景
A/B 测试广泛用于网页与产品界面优化、增长实验和推荐算法评估,例如比较两种订阅页文案带来的注册转化率差异。
易混概念
A/B 测试与基准测试(benchmark)不同:前者比较针对同一目标的不同改动,后者用固定任务衡量系统整体水平。A/B 测试的判据通常是转化率、点击率等关键绩效指标(KPI)。