大数据的应用实践探讨 机遇和挑战并存

一、中国大数据应用实践分析

1、大数据在经济预警方面的应用

在2008年金融危机中，阿里平台的海量交易记录预测了经济指数的下滑。2008年初，阿里巴巴平台上整个买家询盘数急剧下滑，预示了经济危机的来临。数以万计的中小制造商及时获得阿里巴巴的预警，为预防危机做好了准备。

2、大数据在市场营销方面的应用

与传统的市场研究方法不同，大数据的市场研究方法不再局限于抽样调查，而是基于几乎全样本空间。例如，百度拥有中国最大的消费者行为数据库，覆盖95%的中国网民，搜索市场占比达87%。百度基于最真实的用户行为数据和多维度研究工具，帮助宝洁精准的定位了消费者的地域分布、兴趣爱好等信息，根据百度分析的结论，宝洁适时地调整了营销策略。

3、大数据在医疗领域的应用

中国目前已经有十余座城市开展了数字医疗。病历、影像、远程医疗等都会产生大量的数据并形成电子病历及健康档案。基于这些海量数据，医院能够精准地分析病人的体征、治疗费用和疗效数据，可避免过度及副作用较为明显的治疗，此外还可以利用这些数据进行实现计算机远程监护，对慢性病进行管理等。

4、大数据在金融领域的应用

大数据能够解决金融领域海量数据的存储、查询优化及声音、影像等非结构化数据的处理。金融系统可以通过大数据分析平台，导入客户社交网络、电子商务、终端媒体产生的数据，从而构建客户视图。依托大数据平台可以进行客户行为跟踪、分析，进而获取用户的消费习惯、风险收益偏好等。针对用户这些特性，银行等金融部门能够实施风险及营销管理。

二、大数据带来的机遇与挑战

1、大数据带来的机遇

大数据瓦解了传统信息体系架构，从以数据仓库为中心转化为具有流动、连接和信息共享的数据池。通过大数据技术使人们可以利用以前不能有效利用的多种数据类型，抓住被忽略的机遇，使企业机构变得更加智能和高效。

（1）大数据的挖掘和应用成为核心

大数据的重心将从数据的存储和传输过渡到数据的挖掘和应用，这将深刻地影响企业的商业模式，即可直接为企业带来利润，也可通过正反馈为企业带来难以复制的竞争优势。据麦肯锡测算，大数据的应用每年潜在可为美国医疗健康业和欧洲政府分别节省3000亿美元和1000亿欧元，利用个人位置信息潜在可创造出6000亿美元的消费者剩余。因此大数据应用有远超万亿美元的市场。

图表1：大数据的重心变化趋势

资料来源：前瞻产业研究院整理

（2）大数据为信息安全带来发展契机

据2013年McAfee发布的调查报告，美国、英国、日本等10个国家中，消费者每人拥有的数字资产平均价值约37438美元，当设备遗失时，消费者平均要花82小时才能恢复相关资料。但是，7%的消费者表示自己的设备完全没有任何保护，仅有36%的消费者表示采用了部分保护。信息安全时间数量快速上升，信息安全时间引发数据泄露的经济损失也越来越严重。

随着移动互联网、物联网等新IT技术逐渐步入主流，大数据不仅仅是企业需要面对的问题，个人消费者也将被大数据包围。大数据渗透至商业行为和个人生活的方方面面，无处不在的数据，使得信息安全越来越重要。

大数据使得数据价值极大提高，但数据保护意识十分欠缺，以及信息安全时间频率更高、损失更大，不容乐观的信息安全形势，对信息安全将提出了更高要求，目前使用的安全工具、安全信息与事件管理手段以及类似的不能解决这个问题的工具必须得到发展，大数据正在为安全分析提供新的可能性。这些都为信息安全发展带来了新的契机。

（3）使商业智能和信息安全增速加快

大数据产业链参与者众多，覆盖面广。按照产品形态，主要分为硬件、基础软件和应用软件三大领域。综合各领域国内外竞争态势，商业智能和信息安全将加快增速，云计算将具有更大发展潜力，三者将构成产业链中快速发展的三驾马车。

商业智能、信息安全和云计算将是数据挖掘和应用环节国内相对受益的三驾马车。其中国内智能市场已步入成长期，“十三五”期间潜在空间将超过300亿元；信息安全“十三五”期间潜在空间将超过4000亿元；云计算刚进入成长期。

目前中国的信息安全投入占比大大低于发达国家，报据市场研究机构Meta Group的研究数据，2006年美国企业信息安全投入占IT投资总额的8%-12%，而中国信息安全投入仅占IT总投资的1%。IDC预计，“十三五”期间中国IT总投资将达到8000亿美元，按照8%比例计算，信息安全投资规模约为人民币4000亿元。

2、 大数据带来的挑战

大数据在带来机遇的同时，也在人才、技术、信息安全、国家战略决策等方面带来了较大的挑战。

（1）人才挑战

据IDC测算，到2020年，全球需要管理的数据量将达到35ZB，相较于2011年将增长50倍，而同期IT从业人员将仅增加1.5倍，意味着人均管理数据量将膨胀近33倍。虽然目前看来，人力资源的配给与现有的数据库管理技术基本是匹配的，但是未来，如果人类管理数据的效率不能保持同步提升，在大数据时代将无法对数据进行有效管理。

图表2：2011-2020年数据量增幅、从业人员数量增幅和人均管理数据量增幅对比（单位：倍）

资料来源：IDC 前瞻产业研究院整理

（2）技术挑战

传统数据库的管理能力无法应付大数据体量的数据。人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑故，数据的存储和安全以及在未来访问和使用这些数据已成为难点。

目前成熟的经典数据库技术——结构化数据查询语言SQL，在设计的一开始是没有考虑非结构化数据的，也就是说以前计算机人员讨论数据的时候，数据的范围限定在结构化数据范畴以内。随着数据类别的扩大，目前的大数据已经囊括了半结构化和非结构化数据，这已超出目前常规数据软件工具所能承受的极限。

大数据带来的挑战还在于实时处理。在当今快速变化的社会里，掌握时效性才是立于不败之地的关键，例如，社交网站，电子商务等网络服务的迅速发展，使得网络服务及网络信息规模裂变式增长，对大规模数据的处理带来了很大的挑战。数据量大意味着计算量开销大，数据多样性意味着算法的可扩展性要强，二者制约了大数据处理技术的时效性。因此，时效性是基于大数据的多样性和大容量性基础上一个更高的要求，因此是大数据技术的最高要求。

（3）信息安全挑战

大数据时代，面对海量的数据收集、存储、管理、分析和共享，传统意义上的网络与信息安全面临新的问题，安全成为重中之重。这包含两方面的含义：一方面，大量的数据汇集囊括了大量的个人隐私，以及各种行为的细节记录。这些数据的不被滥用成为人身安全的一部分。另一方面，大数据给数据保存和防止破坏、丢失、盗取带来了技术上的难题，传统的安全工具不再像以前那么有用。大数据带来的信息安全挑战主要表现在以下几个方面：

图表3：大数据带来的信息安全挑战

数据窃取大数据处理的是海量数据，通常采用云端存储，对数据的管理比较分散，对用户进行数据处理的场所无法控制，合法用户与非法用户很难区分，容易导致非法用户入侵，窃取重要的数据信息。

数据非法添加和篡改和以前数据技术不一样，大数据技术是从海量非结构化数据获取“智慧”，大数据本身必须是可靠的。例如，黑客入侵大数据系统，添加非法数据，导致用户的大数据分析结果不可靠，有可能对企业或政府的决策造成重大破坏。如何保证大数据的可靠性及分析结果的可靠性是网络与信息安全领域面临的新课题。

个人信息泄露对大数据来说，个人隐私等信息安全问题不同于以往的信息安全问题，而是一种新的安全观。这种新安全观需要在大数据的利用时找到开放和保护的平衡点。例如涉及个人隐私的数据，既要能够探入挖掘其中给人类带来利益的智慧部分，又要充分保护隐私数据不被滥用，损害到个体的利益。国外的做法通常是设置安全机制，采用第三方信息安全审计，并对数据的使用作出明确规定。中国在个人信息保护方面的工作刚刚开始，如何应对即将来临的大数据时代的个人隐私信息保护将是巨大的挑战。

三、大数据产业总体规模预测

据《2017-2022年中国大数据产业发展前景与投资战略规划分析报告》统计来看，中国大数据产业市场在未来五年内，仍将保持着高速增长。预计2016年末，市场规模将达到2485亿元，而随着各项政策的配套落实及推进，到2020年，中国大数据产业规模或达13626亿元的高点。

图表4：2014-2020年中国大数据产业市场规模及预测（单位：亿元，%）

资料来源：《2016中国大数据交易白皮书》 前瞻产业研究院整理