AB Test 定义基于小样本的后验方法;设立对照组和实验组对变量进行试验,建立假设检验对不同组的结果进行检验 (变量是否对结果造成 显著影响 )
核心:
随机分流 -> (对照组 & 实验组) -> (同一时间段) -> 假设检验 -> 是否有显著差异
AB Test 如何分流分流(一定随机均匀分配),保证用户分布一致,这里有两种方式进行分流
分桶
用户整体切割几桶,用户只能在一个桶里(但是这个情况在现实中不现实),有一个解决办法就是同时上线几个多个实验
分层
将业务逻辑互拆的环节分成多层,每层共享同一批用户,用户随机后,处于不同的桶,用户会处于多层多个实验中,,只要多层之间互不影响;这样保证每个实验都能用全流量切割的同时,也保证实验是置信的
AB Test 什么时候用T检验,什么时候用Z检验
选用Z检验
样本量足够大 ($n \ge 30 $)
总体标准差 $\delta$ 已知
常用于 点击量 CTR,转化率等指标
选用T检验
样本量较小 ($n \le 30$)
总体标准差 $\delta$ 未知,仅能获取标准差
常见例子: ...
EcomPulse Chrome 插件EcomPulse 是一款基于Chrome浏览器的智能购物助手插件, 旨在帮助消费着实现跨平台价格透明化。 通过自动化抓取主流电商历史价格数据并实现全网比价,为用户提供给科学的购物决策支持,避免先涨后降的消费陷阱,节省时间和金钱
主要工具栈
使用教程
将项目下载至本地
1git clone https://github.com/HLeoF/EcomPulse.git
进入Chrome, 打开Chrome 管理扩展程序, 之后进入到扩展程序,打开右上角的 开发者模式
点击 加载已解压的扩展程序, 将刚刚下载的项目文件添加, 你就会看到:
现在使用 VS Code 将项目打开, 找到backend 文件下的app.py 点击运行
就可在电商网站使用这个插件(注意需进入单个商品页面)
Demo点击观看视频
项目源码Code
数据科学
未读电商用户行为数据分析
基于100万用户的1亿条数据 2017/11/25 - 2017/12/03 用户行为洞察
仪表盘
数据来源说明本次分析数据来源于阿里天池开放数据集,该平台作为国内权威的公开数据共享平台,聚焦电商、金融等领域的高质量脱敏数据,为学术研究与商业分析提供了可靠的数据支撑。本次使用的数据集规模为3GB,包含约1亿条用户行为记录,覆盖2017年11月25日至12月3日期间的淘宝平台用户行为数据,数据维度完整且时效性强。
从数据字段来看,数据集包含以下核心变量:
字段名
字段含义
user_id
用户唯一标识, 用于区分不同用户的个体行为
category_Id
商品品类ID, 标识商品所属的一级二级分类
item_id
商品唯一ID, 代表具体商品的数字化标识
behavior_type
用户行为类型,包含4类核心行为:pv, cart, fav, buy.直接映射用户从“流量触达”到“最终转化”的关键动作
timestamps
行为发生的时间戳,记录用户行为的具体时间节点,是后续时间序列 ...
电商平台App AB Test背景某电商平台高度重视其产品详情页的优化工作,旨在通过页面设计的升级来提升用户转化效果。根据历史数据,该平台年度平均转化率维持在13%的水平,此次改版计划将转化率提升2个百分点,使目标值达到15%。为确保新版页面的实际效果,平台决定在全面上线前,先通过AB测试的方式对部分用户群体进行小规模验证,以评估新设计是否能够达成预期的转化目标。
AB Test 流程分析现状,确定实验对象实验开始前,我们需要与业务部门进行沟通确定实验的对象(实验变量)。此次项目中变量为 Web UI不同设计风格
确定实验目标和指标此次实验需要确定新的UI界面是否能够提高2%的转化率,衡量指标就是 转化率
提出假设这个AB测试,希望新的UI界面提升2%。
H0: P0 (旧UI设计转化率) = P1(新UI设计的转化率)
H1: P0 (旧UI设计转化率) $\ne$ P1(新UI设计的转化率)
原则上应该选用 右侧单位单尾检验;因为原则上假设 新UI转化率大于旧UI转化率。但是在这个实验中,我们不确定新UI的性能一定比当前的UI更好。
如果实验目的是验证新UI转化率是否 ...