定义:

辛普森悖论(又称尤尔-辛普森效应)是指在许多不同的样本组中,一种趋势是显著的。但是,当这些子样本的结果结合在一起时,趋势就会消失或逆转。当群体成员离开或加入时,以及当子群体的样本量很小或非常不同时,通常会发生这种情况。

辛普森悖论的例子

如果我们把百分比加在一起而不是用原始数据重新计算百分比,我们可能会遇到辛普森悖论。否则,我们将不考虑可能导致辛普森悖论的不同样本大小。有时,问题是由于比较苹果和橙子,不把数据分解成组件。这里iOS和Android的转换率表明iOS的转换率较低。

显示操作系统转换率的表的图像

然而,如果我们通过操作系统和设备分析数据,我们会看到一个非常不同的情况,这可能会影响投资决策。设备的转换率实际上非常相似,我们不应该担心总体上的iOS,因为它似乎是影响转换率的设备类型。

按操作系统和设备类型显示转换率的表的图像

商业组织很容易陷入辛普森悖论的陷阱,因为他们过于依赖小样本,因为他们希望将研究成本保持在最低水平。确认偏差通常情况下,由于人们太快找不到符合他们现有信念的数据,即使样本量很小,问题也会复杂化。

结果的一致性通常被用来证明数据的可接受性,但这当然是辛普森悖论的特征之一。为了A/B多元检验如果你运行一系列的小测试没有达到完全的统计置信度,或者你没有充分分解结果来理解转换的潜在驱动因素,你可能会受到辛普森悖论的影响。

这里的教训是双重的。不要停止实验,除非你有很高的统计置信度和很低的误差幅度。其次,注意不要在没有首先探索动力学影响行为的情况下对测试结果进行概括。使用网站分析在得出最终结论之前,先深入研究数据。

通过多变量测试,确保您确认获胜食谱通过稳健的A/B测试。独立变量之间的相互作用可能会导致多变量测试产生误导性结果,您应该考虑运行A/B测试,以确保结果是可持续的。

资源:

转换营销-manbetx 世界杯赞助商转换营销词汇表。

小数定律-为什么许多神话是由社会科学家引起的?

审查了300多个工具-数字营销工具箱。manbetx万博亚洲

A/B测试软件-您应该选择哪些A/B测试工具?

A/B测试类型-如何使用A/B测试优化网站性能。

现在就打电话给我!