loonta 图文档案

历史文章静态保全 · 纯阅读,无注册、登录与评论

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

2018-06-05

因果关系 / 未来趋势 / 汇粉广场

大数据预测思维方法,相关性并不意味着因果关系

隐士申子源  2018-05-06

关键词:因果关系 强相关  相关性 

时至今日,关于西方传来的一些哲学思想,不断地占据人们的思维空间,比如墨菲定律,比如二八定律,还有著名的蝴蝶效应。

蝴蝶效应,通俗浅白形象来说,就是北半球一种蝴蝶展翅飞翔,很可能引起了南半球的一场风暴。

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

随着大数据的兴起,人们发现有些风马牛不相及的事情,却有很强的关联性,或者叫做相关性。

大数据的意义在于从海量的数据里寻找出一定的相关性,然后推演出行为方式的可能性。在大数据时代,随着存储和计算能力在不断提高,能够被数据化的东西也越来越多,所以利用统计学研究各种数据之间的相关关系,研究非相关数据之间的相关性就是相关性分析。这最终可以成为我们决策的依据,大大提升我们的管理效率或者处理事情的能力,也极大地颠覆我们原来的思维。

虽然他们没有因果关系,例如随着甲的出现,必然会导致乙的出现。

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

根据引力的计算,月圆月缺和潮起潮落,其实没有太强的因果关系,月球的引力不足以在地球的海面掀起如此的巨浪,但是他们是紧密相关的。

几千年都是遵循这样的相关性。

还有本文起初提到的蝴蝶效应,其实这本质上就是一种相关性,但是并不是因果关系,很显然从物理学力学都说不通。

还有中医的脉诊,很多人以为这是一个脏腑的反应,其实真的搞错了,这本质就是一种镜像反射,中医把脉所取都在手太阴肺经上,何来直接对应五脏六腑之说?

就是一种取象,取他们的相关性。

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

有一个很精妙的比喻,相关性就像一个人照镜子,镜子里的人和你的动作一模一样,但是你和镜子里的人,没有半毛钱关系,开枪对着镜子里的人打,你却毫发无伤。

相关性,并不意味着因果,但是可以看到一种趋势,一个结果,就照镜子,开枪把镜子打碎了,人也没事,但是看得清清楚楚,如此而已。

TwitterHealth是纽约罗彻斯特大学发起的一个研究项目,可以通过分析用户的Twitter微博内容来预测用户会不会感冒。注意,他们仅仅分析微博内容!

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

这一项目原来只是给研究人员用作数据挖掘和机器学习系统用的,后来开发出了这一功能。罗彻斯特大学计算机科学系主任Henry Kautz说:“TwitterHealth是一个专门研究分析不同地理位置信息的项目,比如智能手机的GPS信息。”

Kautz说:“我们发现越来越多的社交媒体开始加入地理位置定位这一功能,人们在发Twitter微博的时候就会顺带上自己的地理位置信息。我们的研究小组就从网站上下载并研究此类信息。”

Kautz的学生建立起一个计算机网络,专门用来下载地理位置坐标为大城市的Twitter微博。然后他们开始从海量的大数据资源中挑选可用数据。

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

“我们发现,人们经常在Twitter微博中提到自己的健康状况。比如说‘我流鼻子了’、‘我感冒了’、‘我感觉不舒服’等。我们就设想,是否可以根据这些词句来跟踪季节性流感?”

于是研究团队开始拙手写机器学习算法,在几百条实验微博中挑选“感冒微博”。

最后团队的算法在挑选“感冒微博”时已经可以达到99%的准确率,几乎与人脑分析文本一致,而且“感冒”分析速度要快于美国本土最大的疾病控制中心。

“从大数据中,我们可以发现季节性流感的分布和传播,我们测量和预测的精度完全不输疾病控制中心。”Kautz说道。

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

从这个案例来讲,发微博和感冒完全没有因果关系,但是能够分析出来人群和个体的疾病特征,甚至连宏观的流行性疾病趋势分布图,都一清二楚。

从这点上看,科学越来越接近玄学了。

欢迎关注隐士申子源更多文章,与你分析碰撞思维火花!


(大数据)“思路变,天地宽”—用强相关性取代因果关系解决问题

来源:https://www.baidu.com/link?url=9un_JH2xB51_Ut725XILuKEdxhu4R8eyWefN9pZE7T7OcjTrFLmyxFQB2fen6op0Yr1_-xCB-ecaMzShSzWje_BiRDO_G5hqBXxfesaesbS&wd=&eqid=e0d9c267000051f30000000661b731b0

香农提出的信息论,其实是一种全新的方法论。如果说机械思维的方法论是建立在确定性上的,而大数据思维的信息论就是建立在不确定性上面。大数据的本质就是消除不确定性。大数据有三个特征,数据量大,多维度和完备性。我们从信息论出发,可以这样解释,数据量的问题,就是通过计算机的发展,掌握大量的数据。多维度,可以联系之前提到的“互信息”概念理解,我们想要搞清楚需要研究的问题,肯定是收集到的数据关联性越强,就会越容易得出结论。完备性,就是说数据量覆盖全面,不会有漏网之鱼。</p><p>为什么说大数据思维是一种全新的思维革命?从它的方法论中就可以看出,机械思维的方法论是因果关系,而大数据思维的方法论是强相关关系,也就是关联性。从药品的开发案例就可以加以区分。19世纪中期,青霉素发明过程就是因果关系的产物。人们的目的很明确,必须杀死致病菌才能治好疾病,所以科学家都在研究如何将细菌杀死,而通过因果关系找到的解决方案,就让人感觉十分的可信,其他新药的研制过程也是这样,首先分析致病产生的原因,再从源头上出发,杀死致病菌。这样的思路是没有问题的,但是在实际操作中,研制一场新药的时间成本和费用成本都十分高昂。</p><p>而在大数据时代,研制一种新药的时间和成本,都被大大地缩短了。因为医学专家发现,人们的处方药,以及疾病的种类都是有限的。可以利用大数据的思维,将现有药品和人类疾病进行配对,就会得到意料之外的收获,比如说,原先用来治疗心脏病的药物可以对胃病有效。有了这样的结论,再推导原因就变得十分的简单了,这样一来,花在寻找新药上的时间和成本都会降低。简单说来,可以说是用大数据的思维,用已知结果而倒逼出原因。</p><p>书中还举了另外一个例子,大数据思维甚至可以运用在法律上,用相关性决定了判罚的结果。在20世纪90年代的美国历史上发生过一次世纪大诉讼。对战双方是密西西比州的总检察长麦克和大烟草商。因为导致吸烟者疾病(如肺癌)的影响因素很多,单靠因果关系无法证明是吸烟所致。无奈之下,检察官聘请了多位科学家进行数据收集工作,足迹遍布世界各地。最终用大数据的思维的方法论,得出了肺癌和吸烟之间的关系作为强有力的证据,才让烟草商赔了一大笔钱。</p><p>总的说来,在大数据时代,我们可以运用大数据直接获得答案,再从答案推导出原因,或者直接利用答案解决问题,跳出机械思维因果关系的桎梏。这也是现今许多面对市场反应迅速的互联网公司比传统公司更胜一筹的原因。</p></div>

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)


大数据时代的思维变革-不是因果关系,而是相互关系

建工优选文集

来源:https://baijiahao.baidu.com/s?id=1675820250117415202&wfr=spider&for=pc

发布时间: 2020-08-24 00:09

质量检查员,旅游领域爱好者

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

在小数据时代,相关关系分析和因果分析都不容易,都耗费巨大,都要从建立假设开始。然后我们会进行实验——这个假设要么被证实要么被推翻。但由于两者都始于假设,这些分析就都有受偏见影响的可能,而且极易导致错误。与此同时,用来做相关关系分析的数据很难得到,收集这些数据时也耗资巨大。现今,可用的数据如此之多,也就不存在这些难题了。

当然,还有一种不同的情况也逐渐受到了人们的重视。在小数据时代,由于计算机能力的不足,大部分相关关系分析仅限于寻求线『性』关系。这个情况随着数据的增加肯定会发生改变。事实上,实际情况远比我们所想象的要复杂。经过复杂的分析,我们能够发现数据的“非线『性』关系”。

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

当相关关系变得更复杂时,一切就更混『乱』了。比如,各地麻疹疫苗接种率的差别与人们在医疗保健上的花费似乎有关联。但是,最近哈佛与麻省理工的联合研究小组发现,这种关联不是简单的线『性』关系,而是一个复杂的曲线图。和预期相同的是,随着人们在医疗上花费的增多,麻疹疫苗接种率的差别会变小;但令人惊讶的是,当增加到一定程度时,这种差别又会变大。发现这种关系对公共卫生官员来说非常重要,但是普通的线『性』关系分析师是无法捕捉到这个重要信息的。

如今,专家们正在研发能发现并对比分析非线『性』关系的必要技术工具。一系列飞速发展的新技术和新软件也从多方面提高了相关关系分析工具发现非因果关系的能力,这就好比立体派画家同时从多个角度来表现女『性』脸庞的手法。

网络分析行业的出现就是一个最明显的例子。多亏了它,让描绘、测量、计算各节点之间的关系变成了可能,我们可以从facebook上认识更多的朋友,还可以知道法庭上的一些判决的先例,以及谁给谁打了电话。总之,这些工具为回答非因果关系及经验『性』的问题提供了新的途径。

在大数据时代,这些新的分析工具和思路为我们提供了一系列新的视野和有用的预测,我们看到了很多以前不曾注意到的联系,还掌握了以前无法理解的复杂技术和社会动态。但最重要的是,通过去探求“是什么”而不是“为什么”,相关关系帮助我们更好地了解了这个世界。

这听起来似乎有点违背常理。毕竟,人们都希望通过因果关系来了解这个世界。我们也相信,只要仔细观察,就会发现万事万物皆有因缘。了解事情的起因难道不是我们最大的愿望吗?

在哲学界,关于因果关系是否存在的争论已经持续了几个世纪。毕竟,如果凡事皆有因果的话,那么我们就没有决定任何事的自由了。如果说我们做的每一个决定或者每一个想法都是其他事情的结果,而这个结果又是由其他原因导致的,以此循环往复,那么就不存在人的自由意志这一说了——所有的生命轨迹都只是受因果关系的控制了。因此,对于因果关系在世间所扮演的角『色』,哲学家们争论不休,有时他们认为,这是与自由意志相对立的。当然,关于理论的争辩并不是我们要研究的重点。

大数据预测思维方法,相关性并不意味着因果关系(因果关系与相关性,资料汇集一)

首先,我们的直接愿望就是了解因果关系。即使无因果关系存在,我们也还是会假定其存在。研究证明,这只是我们的认知方式,与每个人的文化背景、生长环境与教育水平是无关的。当我们看到两件事情接连发生的时候,我们会习惯『性』地从因果关系的角度来看待它们。看看下面的三句话:“弗雷德的父母迟到了;供应商快到了;弗雷德生气了。”

我们读到这里时,可能立马就会想到弗雷德生气并不是因为供应商快到了,而是他父母迟到的缘故。实际上,我们也不知道到底是什么情况。即便如此,我们还是不禁认为这些假设的因果关系是成立的。

普林斯顿大学心理学专家,同时也是2002年诺贝尔经济学奖得主丹尼尔·卡尼曼(daniel kahneman)就是用这个例子证明了人有两种思维模式。第一种是不费力的快速思维,通过这种思维方式几秒钟就能得到出结果;另一种是比较费力的慢『性』思维,对于特定的问题,就是需要考虑到位。

快速思维模式使人们用因果联系来看待周围的一切,即使这种关系并不存在。这是我们对已有的知识和信仰的执著。在古代,这种快速思维模式是很有用的,它能帮助我们在信息量缺乏却必须快速做出决定的危险情况下化险为夷。但是,通常这种因果关系都是并不存在的。

卡尼曼指出,平时生活中,由于惰『性』,我们很少慢条斯理地思考问题。所以快速思维模式就占据了上风。因此,我们会经常臆想出一些因果关系,最终导致了对世界的错误理解。

父母经常告诉孩子,天冷时不戴帽子和手套就会感冒。然而,事实上,感冒和穿戴之间却没有直接的联系。有时,我们在某个餐馆用餐生病了的话,我们就会自然而然地觉得这是餐馆食物的问题,以后可能就不再去这家餐馆了。事实上,我们肚子痛也许是因为其他的传染途径,比如和患者握过手之类的。然而,我们的快速思维模式使我们直接将其归于任何我们能在第一时间想起来的因果关系,因此,这经常导致我们做出错误的决定。

与常识相反,经常凭借直觉而来的因果关系并没有帮助我们加深对这个世界的理解。很多时候,这种认知捷径只是给了我们一种自己已经理解的错觉,但实际上,我们因此完全陷入了理解误区之中。就像采样是我们无法处理数据时的捷径一样,这种找因果关系的方法也是我们大脑用来避免辛苦思考的捷径。

在小数据时代,很难证明由直觉而来的因果联系是错误的。现在,情况不一样了。将来,大数据之间的相关关系,将经常会用来证明直觉的因果联系是错误的。最终也能表明,统计关系也不蕴含多少真实的因果关系。总之,我们的快速思维模式将会遭受各种各样的现实考验。

令人欣喜的是,为了更好地了解世界,我们会因此更加努力地思考。但是,即使是我们用来发现因果关系的第二种思维方式——慢『性』思维,也将因为大数据之间的相关关系迎来大的改变。

日常生活中,我们习惯『性』地用因果关系来考虑事情,所以会认为,因果联系是浅显易寻的。但事实却并非如此。与相关关系不一样,即使用数学这种比较直接的方式,因果联系也很难被轻易证明。我们也不能用标准的等式将因果关系表达清楚。因此,即使我们慢慢思考,想要发现因果关系也是很困难的。因为我们已经习惯了信息的匮乏,故此亦习惯了在少量数据的基础上进行推理思考,即使大部分时候很多因素都会削弱特定的因果关系。

就拿狂犬疫苗这个例子来说,1885年7月6日,法国化学家路易·巴斯德(louis pasteur)接诊了一个9岁的小孩约瑟夫·梅斯特(joseph meister),他被带有狂犬病毒的狗咬了。那时,巴斯德刚刚研发出狂犬疫苗,也实验验证过效果了。梅斯特的父母恳求巴斯德给他们的儿子注『射』一针。巴斯德做了,梅斯特活了下来。发布会上,巴斯德因为把一个小男孩从死神手中救出而大受褒奖。

但真的是因为他吗?事实证明,人被狂犬病狗咬后患上狂犬病的概率只有七分之一。即使巴斯德的疫苗有效,这也只适用于七分之一的案例中。无论如何,就算没有狂犬疫苗,这个小男孩活下来的概率还是有85%。

在这个例子中,大家都认为是注『射』疫苗救了梅斯特一命。但这里却有两个因果关系值得商榷。第一个是疫苗和狂犬病毒之间的因果关系,第二个就是被带有狂犬病毒的狗咬和患狂犬病之间的因果关系。即便是说疫苗能够医好狂犬病,第二个因果关系也只适用于极少数情况。

不过,科学家已经克服了用实验来证明因果关系的难题。实验是通过是否有诱因这两种情况,分别来观察所产生的结果是不是和真实情况相符,如果相符就说明确实存在因果关系。这个衡量假说的验证情况控制得越严格,你就会发现因果关系越有可能是真实存在的。

因此,与相关关系一样,因果关系被完全证实的可能『性』几乎是没有的,我们只能说,某两者之间很有可能存在因果关系。但两者之间又有不同,证明因果关系的实验要么不切实际,要么违背社会伦理道德。比方说,我们怎么从5亿词条中找出和流感传播最相关的呢?我们难道真能为了找出被咬和患病之间的因果关系而置成百上千的病人的生命于不顾吗?因为实验会要求把部分病人当成未被咬的“控制组”成员来对待,但是就算给这些病人打了疫苗,我们又能保证万无一失吗?而且就算这些实验可以『操』作,『操』作成本也非常的昂贵。

不像因果关系,证明相关关系的实验耗资少,费时也少。与之相比,分析相关关系,我们既有数学方法,也有统计学方法,同时,数学工具也能帮助我们准确地找出相关关系。

相关关系分析本身意义重大,同时它也为研究因果关系奠定了基础。通过找出可能相关的事物,我们可以在此基础上进行进一步的因果关系分析,如果存在因果关系的话,我们再进一步找出原因。这种便捷的机制通过严格的实验降低了因果分析的成本。我们也可以从相互联系中找出一些重要的变量,这些变量可以用到验证因果关系的实验中去。

可是,我们必须非常认真。相关关系很有用,不仅仅是因为它能为我们提供新的视角,而且提供的视角都很清晰。而我们一旦把因果关系考虑进来,这些视角就有可能被蒙蔽掉。

例如,kaggle,一家为所有人提供数据挖掘竞赛平台的公司,举办了关于二手车的质量竞赛。二手车经销商将二手车数据提供给参加比赛的统计学家,统计学家们用这些数据建立一个算法系统来预测经销商拍卖的哪些车有可能出现问题。相关关系分析表明,橙『色』的车有质量问题的可能『性』只有其他车的一半。

当我们读到这里的时候,不禁也会思考其中的原因。难道是因为橙『色』车的车主更爱车,所以车被保护得更好吗?或是这种颜『色』的车子在制造方面更精良些吗?还是因为橙『色』车更显眼、出车祸的概率更小,所以转手的时候,各方面的『性』能保持得更好?

马上,我们就陷入了各种各样谜一样的假设中。若要找出相关关系,我们可以用数学方法,但如果是因果关系的话,这却是行不通的。所以,我们没必要一定要找出相关关系背后的原因,当我们知道了“是什么”的时候,“为什么”其实没那么重要了,否则就会催生一些滑稽的想法。比如说上面提到的例子里,我们是不是应该建议车主把车漆成橙『色』呢?毕竟,这样就说明车子的质量更过硬啊!

考虑到这些,如果把以确凿数据为基础的相关关系和通过快速思维构想出的因果关系相比的话,前者就更具有说服力。但在越来越多的情况下,快速清晰的相关关系分析甚至比慢速的因果分析更有用和更有效。慢速的因果分析集中体现为通过严格控制的实验来验证的因果关系,而这必然是非常耗时耗力的。

近年来,科学家一直在试图减少这些实验的花费,比如说,通过巧妙地结合相似的调查,做成“类似实验”。这样一来,因果关系的调查成本就降低了,但还是很难与相关关系体现的优越『性』相抗衡。还有,正如我们之前提到的,在专家进行因果关系的调查时,相关关系分析本来就会起到帮助的作用。

因果关系还是有用的,但是它将不再被看成是意义来源的基础。在大数据时代,即使很多情况下,我们依然指望用因果关系来说明我们所发现的相互关系,但是,我们知道因果关系只是一种特殊的相关关系。相反,大数据推动了相关关系分析。相关关系分析通常情况下能取代因果关系起作用,即使不可取代的情况下,它也能知道因果关系起作用。曼哈顿沙井盖(即下水道的修检口)的爆炸就是一个很好的例子。

大数据,改变人类探索世界的方法

在小数据时代,我们会假想世界是怎样运作的,然后通过收集和分析数据来验证这种假想。在不久的将来,我们会在大数据的指导下探索世界,不再受限于各种假想。我们的研究始于数据,也因为数据我们发现了以前不曾发现的联系。

假想通常来自自然理论或社会科学,它们也是帮助我们解释和预测周遭世界的基础。随着由假想时代到数据时代的过渡,我们也很可能认为我们不再需要理论了。

2008年,《连线》杂志主编克里斯·安德森(chris anderson)就指出:“数据爆炸使得科学的研究方法都落伍了。”后来,他又在《拍字节时代》(the petabute age)的封面故事中讲到,大量的数据从某种程度上意味着“理论的终结”。安德森也表示,用一系列的因果关系来验证各种猜想的传统研究范式已经不实用了,如今它已经被无需理论指导的纯粹的相关关系研究所取代。

为了支撑自己的观点,安德森阐述了量子物理学已变成一门纯理论学科的原因,就是因为实验服装、耗费多且不可行。他潜在的观点就是,量子物理学的理论已经脱离实际。他提到了谷歌的搜索引擎和基因排序工程,指出:“现在已经是一个有海量数据的时代,应用数学已经取代了其他的所有学科工具。而且只要数据足够,就能说明问题。如果你有一拍字节的数据,只要掌握了这些数据之间的相关关系,一切就都迎刃而解了。”

这篇文章引发了激烈的争论,虽然安德森本人很快就意识到自己的言辞过于激烈了,但是他的观点确实值得深思。安德森的核心思想是,直到目前为止,我们一直都是把理论应用到实践中来分析和理解世界,而如今处在大数据时代,我们不再需要理论了,只要关注数据就足够了。这就意味着所有的普遍规则都不重要了,比方说世界的运作,人类的行为,顾客买什么,东西什么时候会坏等。如今,重要的就是数据分析,它可以揭示一切问题。

大数据是在理论的基础上形成的。比方说,大数据分析就用到了统计和数学理论,有时候也会用到计算机科学理论。是的,这不是关于像地心引力这样特定现象的产生原因的理论,但是无论如果这依然是理论。而且如我们所见,建立在这些理论上的大数据分析模式是实现大数据预测能力的重要因素。事实上,就是因为不受限于传统的思维模式和特定领域里隐含的固有偏见,大数据才能为我们提供如此多新的深刻洞见。

首先就是关于我们怎么收集数据。我们会不会仅仅看数据收集的方便程度来决定呢?或者看数据收集的成本?我们做这些决定的时候就被理论所影响着,而就如达纳·博尹德(danah boyd)和凯特·克劳福德(kate crawford)说的,我们的选择一定程度上决定了结果。毕竟,谷歌是用检索词来预测流感而不是鞋码。同样,我们在分析数据的时候,也依赖于理论来选择我们使用的工具。最后,我们解读研究结果的时候同样会使用理论。大数据时代绝对不是一个理论消亡的时代,相反地,理论贯穿于大数据分析的方方面面。

作为第一提出问题的人,安德森应该获得掌声——尽管他的答案不怎么样!大数据绝不会叫嚣“理论已死”,但它毫无疑问会从根本上改变我们理解世界的方式。很多旧有的习惯将被颠覆,很多旧有的制度将面临挑战。

大数据时代将要释放出的巨大价值使得我们选择大数据的理念和方法不再是一种权衡,而是通往未来的必然改变。但是在我们到达目的地之前,我们有必要了解怎样才能到达。高科技行业里的很多人认为是依靠新的工具,从高速芯片到高效软件等。当然,这可以理解为因为他们自己是工具创造者。这些问题固然重要,但不是我们需要考虑的问题。大数据趁势的深层原因,就是海量数据的存在以及越来越多的事物是以数据形式存在的,这也是我们下一章要谈论的内容。