未来的十年,将是大数据引领下的智慧科技时代。不管你是否意识到它的存在,大数据都将越来越快地改变我们这个时代,包括我们的生活方式。
维克托·迈尔-舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一。他通过一个大家熟知的事例,来帮助我们理解“大数据”的潜在影响力,那就是四个世纪之前望远镜和显微镜的发明。望远镜能够让我们感受宇宙,显微镜能够让我们观测微生物,它们都是收集海量数据的新工具,因为这种工具的发明,人们同步更新了分析数据的技术和方法,促进了人们对世界更好的理解。如果说望远镜和显微镜是测量领域中的一场革命,那么今天的数据测量就相当于是现代版的望远镜、显微镜。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富,以及更多的传感设备、移动终端接入到网络,由此产生的数据及数据的增长速度比历史上的任何时期都要多、都要快。一个大数据的时代,不经意间顺理成章地翩然而至。
一、什么是大数据?
大数据是当前最热门的话题之一。但什么是大数据,人们尚未给出确切的定义。首先,“大数据”是相对过去小的、局部性的数据而言的;其次,利用大数据进行分析和工作时,所依据的关于此事尽可能完整的数据,从而“一览众山小”,而不是采用局部的小数据,从局部推断整体。
维克托也并未直接给出大数据的定义。不过,他用三大转变描述了大数据的特性:
转变之一:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。例如一项针对相扑比赛中非法操纵比赛结果的研究对64000场比赛进行了分析,这算不上一个很大的数字,但由于这是过去十年所有的比赛,所以它是大数据。
转变之二:由于有了更多的数据,我们可以接受更多的混杂、更多数据上的不精确。如果我们对于一个事物只有50个数据点,那么每一个数据点都必须非常精确,因为每个数据点都是有用的;但是如果我们有5000万个,去掉10个,甚至去掉1000个都没有太大的问题。
转变之三:不再探求难以捉摸的因果关系,转而关注事物的相关关系。分析大数据主要为了预测未来“是什么”,而不是“为什么”。因为很多时候我们以为我们找到了事情背后的原因,实际上却没有找到。更多时候知道了“是什么”就足够了。例如知道流感将会扩散到哪里就足够了,我不需要知道为什么;知道什么时候在网上购买机票能够获得最优惠的价格就足够了,我不需要知道为什么此时价格最低。
二、大数据带来的变化
大数据从根本上改变我们认识世界和改变世界的方式。很多传统的习惯将被颠覆,很多旧的制度将面临挑战。举例来说:
第一,科学探究的思路和方式受到挑战
探究是新课程改革中的一个热词,是促进学校教学与科学研究相融合的实践举措。科学探究的基本路径是:发现问题,提出假设,制定方案,实践探究,分析数据,得出结论。之所以会梳理出这样一个探究的路径,与我们对问题知晓的信息过少有关。换句话说,对所要研究的事物,我们知道的数据很少,需要从这些很小的数据出发,通过猜想和假设,进行试探性的研究,如果研究得出的结果和自己的假想是一致的,则说明我们的假说是正确的,这些假说会上升为对该事物描述的知识,我们掌握该事物的数据也随之增加。
利用测量所获得的点滴数据,从一个局部来推测世界是怎样的,这是科学探究的基本思路和方式。长期以来,我们总是通过这样的方式来认识世界,对其有宗教般的信仰。尽管我们知道,决策者总是先有了想法,才会提出假设。如果决策者自身对所研究的事情存在着偏见,所提出的假设就很难得到实证的支持,这往往会导致探究花费了很长的时间、很大的物力和财力,也常常劳而无功。但科学研究者还是坚定不移地沿着这条道路前行,学校在教学中也将其作为科学研究的基本规范来传授。
在大数据时代,这样的研究方式收到了极大的挑战。先举个事例来说吧。手机辐射是否能够致癌?关于这个问题,无论我们的假设如何,实验的设计都很难进行。首先,样本选择过少,没有统计学上的意义;其次,不能拿人做研究对象;第三,短时间的研究很难观察到变化。有了大数据之后,这样的难题就可以迎刃而解了。前段时间,丹麦就进行了这样的研究。丹麦拥有1985年手机推出以来所有手机用户的数据库。他们从这个数据库中分析了1990年至20xx年拥有手机的所用用户的数据,同时,他们还收集了这一期间医院收集的所有癌症患者的数据,然后分析手机用户是否比非手机用户有更高的癌症发病率。这两个数据库本身是完全独立的,在作分析之前从来没有想过可以做这样的研究。结果表明,使用移动用户和癌症风险增加之间不存在任何关系。20xx年10月,这一研究的结果发表在《英国医学杂志》上。
上述的案例告诉我们,在获得了大量的数据,能够对事物的整体进行全面的认识之后,假想就没有意义了,我们可以直接根据全面的数据做出结论。