从2008年年中到2009年年末很短的时间段内,信息技术领域的不同部分遵循摩尔定律同期取得新进展(内存容量翻番;网络速度显著提升,而价格却持续下降;在存储介质上,普通硬盘逐渐被固态硬盘和闪存取代;CPU性能增强(计算能力增强、核数增加)),大幅提高了现有的计算能力,为大数据的应用迎来了发展的新机遇。这些技术进步多年来一直持续,只是步调不同,有的节奏更快,有的较为平稳。但到了2009年年中,几乎在同一时间点上,几个方面同时取得突破,成为大数据广泛应用的触发力量。进入2012年,这种计算能力量级的全面提升,再加上对社交网络数据、机器数据等分析需求的释放,一个有利于大数据产业兴起的外部环境应运而生。
数据除了作为必要成分驱动业务外(如金融交易数据、电子商务交易数据),数据产品的开发(通过数据用途的扩展创造新的价值,如精准网络广告)更是为攫取数据财富提供了新的源泉。目前,在科学研究、教育与人力资源管理、医疗与健康服务、能源服务、城市管理、政务处理、国防事务、传统产业转型、金融业务创新方面以及文化体育产业、零售行业、电子商务和互联网行业,国内外的大数据应用均取得了突出成就。尤其是经济领域,海量数据的积累与交换、分析与运用,产生了前所未有的洞见和知识,极大地促进了生产效率的提高,为充分挖掘数据要素的价值提供了超乎寻常的力量。
存储、网络、CPU、带宽能力的提升和价格的下降推动大数据时代到来
资料来源:O’Reilly,《Big Data Now》
根据美国学者对179家大型企业进行的研究,采用“数据驱动型决策”模式的企业生产力普遍可以提高5%~6%。相对于传统的实物经济,数据经济愈发显示出其价值增值。以面向商家的“数据魔方”服务为例。2010年4月,淘宝网正式推出“数据魔方”。基于海量数据,数据魔方为商户提供一系列的数据服务。商家可以了解淘宝平台上的行业总体情况、自己拥有品牌的经营状况、消费者行为动态等,据此进行生产、库存和营销决策,目前已有数十万商户使用这一服务。
下表给出一些国内外大数据应用案例。