大数据产业发展及其人才培养

随着移动互联网的崛起，全球数据正呈爆炸性增长。目前全球90%以上的数据是最近几年产生的，数据规模大约每两年翻一番。数据不仅指人们在互联网上发布的海量信息，还包括各种设备、建筑、系统、人员、业务、场景等产生的各种结构化与非结构化数据，这些数据随时测量和传递着有关对象的各种状态及其变化。这是一个产生大数据的时代，更是需要大数据力量的时代。

大数据（Big Data）或称巨量信息，指的是所涉及的信息量规模巨大，以至无法通过目前主流软件工具在合理时间内实现采集、管理、处理，并成为帮助企业经营决策以达到更积极目的的数据。大数据具有体量巨大、速度极快、类型众多、价值密度低的特点，对数据采集、存储、处理、传输和应用提出了前所未有的新要求。大数据这个术语最早期的引用可追溯到Apache基金会的开源项目Nutch。当时大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce、Google File System（GFS）以及Hadoop的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。

从某种程度上说，大数据是数据分析的前沿技术，从各种各样类型的数据中快速获得有价值信息的能力就是大数据技术。全球知名咨询公司麦肯指出，“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用预示着新一轮生产率增长和消费者盈余浪潮的到来”。

大数据不是一个片断，也不是简单的一项技能，而是综合性的科学与技术，从理念层面延伸到技术、科学和管理等层面。只有在真实的应用场景中才能让企业对大数据的价值有一个直观的感受，而应用场景的建立需要从企业战略本身出发，仔细考察大数据可以对企业运营产生什么样的效果。目前来看，大数据主要有五个方面的应用场景，分别是：

（1）利用大数据实现庞大知识库：客户服务、保险、汽车、维修、医药等行业需要储备规模巨大的知识库。

（2）利用大数据实现客户交互改进：电信、零售、旅游、金融服务和汽车等行业将“快速抓取客户信息从而了解客户需求”列为首要任务。

（3）利用大数据实现运营分析优化：制造、能源、公共事业、电信、旅行和运输等行业需要时刻关注突发事件、通过监控提升运营效率并预测潜在风险。

（4）利用大数据实现IT效率和规模效益：企业需要增强现有数据仓库基础架构，实现大数据传输、低时延和查询的需求，确保有效利用预测分析和商业智能实现性能和扩展。

（5）利用大数据实现智能安全防范：政府、保险等行业亟待利用大数据技术补充和加强传统的安全解决方案。

尽管大数据行业刚刚开始进入发展期，但市场竞争已相当激烈。企业要想在竞争中保持领先优势，仅仅是收集大量的数据显然是不够的。那些已经成功实施了大数据策略的企业，如百度、腾讯、阿里巴巴等，在大数据战略上都具有以下特点：第一，对所有收集的重要数据信息进行正确的分析，建立信息中心文化；第二，保持不断追求技术创新的动力；第三，收集一切数据，并进行集中式存储，之后再决定是否需要这些数据；第四，使用数据驱动的产品，确保可以收集到可用的数据；第五，聘请专家，注重培养大数据专业人才。IDC发布的报告显示，2012-2016年期间全球大数据技术及服务市场复合年增长率（CAGR）将达到31.7%，未来4年累计增长超过200%，仅2016年，大数据行业的收入已达238-500亿美元，其增速约为信息通信技术市场整体增速的七倍，其中中国大数据技术和服务市场未来5年的复合增长率将达51.4%。

毫无疑问，大数据的市场前景广阔，对各行各业的贡献也将是巨大的。目前来看，未来大数据技术能否达到预期的效果，关键是在于能否找到适合信息社会需求的应用模式以及是否能够建立起配套的教育培训体系，为大数据行业的发展输送合适的人才，使大数据产业保持创新能力，并具有长期的可持续发展性。

从传统架构到大数据时代应用程序架构的转变往往都会遇到一些问题和挑战。在对计算框架门槛调查中，非专业人士难于入手这一难题的比例达到了46.5%，这对企业人才的培训提出了迫切的要求。对专业开发者来说，大家特别期望从技术培训中获取的知识又会是什么？据调查，需求最大的是计算框架，如MapReduce、Google File System（GFS）以及Hadoop等，占63%；其次是面向大数据处理的数据库系统，如 NewSQL等，占37%；第三是云计算解决方案，35%；第四是编程语言，25%。

综上所述，大数据技术在企业界中有广泛的需求，未来大数据技术的需求者不仅仅是大企业，还包含大量的中小企业，其中的人才缺口是可观和长期的。而目前对大数据技术已经掌握并运用的企业数量不足3成，后发企业迫切需要对现有IT人员进行大数据技术培训，并招揽具有大数据技术背景的应届毕业生。