打印

未卜先知的神器:关于大数据的观察与思考(上)

未卜先知的神器:关于大数据的观察与思考(上)

来源:中国科技网  2013年11月20日 08:11


  

近两年,大数据应用突然爆炸,五彩缤纷的创意都变成现实

  
  所有评论家都喜欢提到“尿片与啤酒”的故事,认为它是大数据分析的开始:1960年代,沃尔玛连锁超市研究销售记录发现,给孩子买纸尿片的男人都会顺便买几瓶啤酒。为此,超市在尿布旁边摆上了啤酒架,方便顾客。这是半个世纪前的事了。
  
  1980年代著名的未来学书籍《第三次浪潮》,预言未来信息时代必然有“big data(大数据)”应用。不过,就在5年前,网上百科全书Wikipedia还不愿开辟“big data”的词条,认为这不过是两个单词的组合而已。当时网上普遍认为,大数据更多的是概念和憧憬,其志向不小,成就却不多。
  
  而就在近两年,大数据应用突然爆炸,五彩缤纷的创意都变成现实。即使最谨慎的观察家也承认,大数据的商业应用时代已经来临,正因为它前所未有的能力——准确预测。
  
  数据大爆发,带来“新石油”
  
  去年,演绎白宫政治的《纸牌屋》成了美国收视率第一的电视剧,这丝毫不出制片人的意料——计算机分析了多年的数据,发现一部电视剧如果具备三个元素,就必定大卖:导演大卫·芬奇、奥斯卡影帝凯文·史派西、BBC剧风格。《纸牌屋》就是在数据指导下,如法炮制,果然红透半边天。这个例子很能说明大数据应用的特点:从海量数据里发掘出从前没意识到的联系,并且将它转化为利润。
  
  迈尔-舍恩伯格和库克耶合著的《大数据时代》一书认为,数据量一旦变“大”,根据数据预测就会十分可靠,而不再是小数据时代的模糊推测了。他们认为,大数据的核心就是预测。
  
  美国工程师爱奇奥尼搭飞机时,发现旁边的旅客买票比他便宜。于是他开发了一个系统,预测机票价格的涨跌。截至2012年,他的“faircast”系统用网上的10万亿条价格记录去推测机票何时价格为何,预测准确度达75%,帮助旅客平均每张机票节省50美元。
  
  爱奇奥尼并不懂航空业,他所做的仅仅是查阅过去的数据,就能从中做出有价值的判断。
  
  还有一个例子广为人知。google能从网民搜索关键词中推断出一场流感正在蔓延。工程师实验了4.5亿个不同的数学模型,最后发现,45条检索词条组合用于某个数学模型,与过去的流感数据十分吻合。由此,google第一时间发现了2009年甲型H1N1流感的传播,比官方确认早一两周。
  
  无独有偶,美国政府为了公布CPI数据,雇用很多人调查90个城市的8万种价格信息,每年要花费2.5亿美元。而麻省理工学院的两位经济学家,通过一个软件在网上捕捉50万种商品的价格信息去做同样的事情。金融危机时,雷曼刚破产他们就发现了通货紧缩的趋势,比政府早发现两个月。
  
  大数据预测并不复杂,不论是价格预测,还是疫情预测,只要有海量的数据就行。Word程序中语法检查使用的4种算法,随着其依靠的数据量从500万变为10亿,表现都大为提高。彼得·诺威格,谷歌公司的人工智能专家写道:“大数据基础上的简单算法比小数据基础上的复杂算法更有效。”
  
  但在“尿片与啤酒”的年代,10亿条级别的信息量还很难获得。人们只能建立数据库,将一部分信息分门别类地入库,其他的丢弃。直到最近,计算机处理速度的飞跃和低成本的存储,才实现了“一切尽录”,让大数据分析成为现实。
  
  目前,美国股市三分之二的交易,是计算机程序根据海量数据预测和自动做出的。由此来看,美国2012年3月的《大数据研究和发展计划》中提出的“大数据是新石油”,并不完全是理想,已经部分成真。
  
  记录一个人的过去,就知道他的未来
  
  即使是普通人也能注意到,各个领域收集的数据量都在爆发。人类存储信息量的增长速度比经济增速快4倍,而计算机数据处理能力的增速更比经济增速快了9倍。
  
  信息爆炸的端倪参见美国“斯隆数字巡天望远镜”:运行短短几周,斯隆收集的数据比天文学历史上总共的数据还多;而预计2016年,智利的“大视场全景巡天望远镜”5天就能收集同样多的信息。不光是科学仪器,互联网、视频监控网,以及传感器网(物联网),都在提供海量信息。有人甚至预测,不需太久,信息爆炸造成的一年数据量就将超过人类历史上积攒的所有数据量。
  
  如今,一个人的电子邮件、手机通话记录、网购记录、网上发布内容等等,全都在各家公司的硬盘里存储着;同时,他的行踪被手机记下;身影被街头的监控器捕捉……一旦这些数据串联起来,这个人的一举一动几乎无从遁形。
  
  让人吃惊的是,根据《爆发》一书的作者巴拉巴西的论证,人的行为是高度重复和可预测的(巴拉巴西甚至算出,93%的行为是可预测的)。因此一旦明白了人的过去,就掌握了他的未来。
  
  大大小小的机构,都想利用大数据时代这个神奇的现象获利。其中一些对人类行为的预测,已经显示出威力。今年的奥斯卡金像奖颁奖礼之前,微软纽约研究院的大卫·罗斯柴尔德通过大数据分析,预测了各大奖项的归属。结果除了最佳导演奖外,他全部猜中。而他在2012年美国总统大选中,就根据过去的数据,准确预测了51个选区中50个地区的选举结果。
  
  大型超市Target公司根据20多种购买物,判断顾客的孕期阶段,并适时寄去推荐清单。有时,甚至顾客还不知道自己已经怀孕了,Target的系统就能从其购买偏好的改变上判断出来。
  
  美国一家个人消费评估公司推出了“遵从医嘱评分”,这个评分会帮助医疗机构知道哪些人更需要被提醒及时用药。这个评分是分析一系列变量来确定的,比如某人在某地居住多久,是否结婚,多久换一个工作及有没有私家车。
  
  要知道一个人是否会及时吃药,为何要查阅他的工作简历或者私家车?谁都说不上来。但事实是,只要过去的数据显示,有私家车、很少换工作的人更愿意按时服药,那么今后肯定也是如此。
  
  而微软跟华盛顿中心医院合作,发现充血性心力衰竭病人如果初诊中有类似“压抑”这种暗示心理疾病的词,再度入院的可能性也会增大。
  
  知道如此就够了,不必问为何如此
  
  《大数据时代》一书中强调,大数据不关心“因果”,只在乎“相关”。这一点也被此书的拥趸们反复强调。因为大数据分析,人们理解世界,不再需要探讨“内在机理”。大数据不是教机器像人一样思考,而是简单的数学算法用在海量数据上,让数据自己说话。
  
  在最难确定因果关系的人体科学领域,大数据分析同样屡有斩获。中英人寿保险公司用几百种生活方式的数据,比如爱好、常浏览的网站、常看的节目以及收入等,找出更可能患高血压、糖尿病和抑郁症的人。
  
  丹麦癌症协会2011年发表文章,利用1985年以来的全部手机用户数据,与同期所有癌症患者数据结合来看,发现癌症跟使用手机并没有关系。
  
  还有美国研究者通过16个不同数据,发现早产儿稳定的生命体征不是病情好转的标志,而是暴风雨前的宁静。研究者并不知道具体原因,只知道数据显示出是如此。
  
  有了大数据,分析不必知其所以然。著名的谷歌翻译小组,竟然不需要语言学家。他们完全是让计算机根据网上的数据,去判断一段英文可能对应于哪一段中文。一开始这种翻译质量不会太好,随着信息量的增加,机器会翻译得越来越让人满意。
  
  有了大数据,分析也不需要太精确,因为批量处理允许瑕疵存在。ZestFinance是一家由计算机决定是否为客户提供贷款的公司。它的客户信息表中有大量空白。甚至有10%的客户属性是“已去世”,这显然是错的,实际上这些客户是还贷款的。这家公司不会太精确地对待它的数据,然而其贷款拖欠率比行业平均水平低三分之一。
  
  
  英国石油公司在美国的一个炼油厂里,安装了很多无线感应器,因为高温和电器干扰,不少感应器读数是错的,但数据一多,这些错误就可以弥补。通过随时监测管道承压,厂方发现某些原油更具腐蚀性,就可以发现和防止。
  
  UPS快递公司在所有卡车上安装传感器,如果发现数据异常,他们就提前更换零件,这样节省了好几百万美元修理费用。他们并不在乎传感器数据是否准确。但这样做的确有效。
  
  像那句老话所说:“量变引起质变”。数据量极多时,数据分析就呈现出我们所不熟悉的属性——因果关系淡出;单个数据准确不再重要;而预测几乎必然准确。大数据如同巫师一样的神力,既让我们陌生,又让我们激动。
文章转载自:http://tech.ifeng.com/discovery/ ... shtml#_from_ralated
附件: 您所在的用户组无法下载或查看附件
大王派我来巡山啰~~~~~

TOP