刷短视频、看新闻、找软件，现在哪个平台不是靠推荐吃饭？但你有没有发现，有时候推的东西完全不对胃口？比如你刚搜了个修图软件，结果接下来三天全是美颜相机，连个好用的PDF工具都不给推。这背后，其实不是算法太笨，而是AB测试没做对。
为啥要做AB测试？光靠感觉可不行
很多团队改推荐逻辑，全凭产品经理一句话：“我觉得这样更好”。结果上线一星期，用户留存掉了一截，才反应过来——拍脑袋决策，迟早要栽跟头。推荐流个性化，核心是“因人而异”，但你怎么知道哪种策略真能提升点击率或下载量？得靠数据说话。AB测试就是把用户随机分组，一组用老方案（对照组），一组用新策略（实验组），跑几天看数据谁赢。
个性化推荐怎么分组？别把用户搞混了
传统AB测试按请求分，比如每次刷新算一次曝光，这种在推荐流里容易翻车。同一个用户上午用旧逻辑刷，下午用新逻辑，行为数据乱成一锅粥。正确的做法是按“用户维度”分组，确保一个人始终落在同一组里。比如用用户ID取模：
group = user_id % 100
if group < 50:
use_control_policy()
else:
use_experiment_policy()这样每个人体验一致，数据才靠谱。
指标怎么定？别只盯着点击率
点得多，就一定好吗？不一定。有些标题党内容点击率爆表，但用户三秒就关了。推荐软件更要看长期行为：比如推荐后24小时内是否下载、使用时长、有没有加收藏。拿“软件帮帮网”举例，如果A策略点击率高5%，但实际下载转化还不如老版本，那这个“高点击”就是假繁荣。
冷启动问题咋办？新用户没画像咋推
新用户来了，啥偏好都没有，推荐系统像盲人摸象。这时候可以先上通用热门榜单，同时用轻量级模型快速捕捉行为。比如第一次点击了“视频剪辑”，第二轮就推几款主流剪辑软件，再根据反馈调整。AB测试中，这类用户可以单独划出“冷启动组”，避免拉低整体实验效果。
别忽略技术细节：分流一致性与日志埋点
分流系统必须保证同用户同策略，一旦中途切换，实验就废了。建议在用户首次访问时写入cookie或本地存储，标记所属分组。同时，每条推荐曝光和点击都要打日志，字段至少包括：user_id、item_id、position、group、timestamp。后续分析才能精准回溯。
推荐流不是一锤子买卖，而是持续优化的过程。用对AB测试方法，才能让每一次改动都有依据，让用户觉得“这软件真懂我”。