大数据专业迅猛发展,全国已有数百所高校设立了数据科学与大数据技术、大数据管理与应用等专业。为了响应教育部和工信部的号召,2017年11月,中国软件行业协会联合国内部分高校、科研院所、行业企业联合组建了信息技术新工科产学研联盟(简称“新工科联盟”),2018年1月14日,大数据与智能计算工作委员会(简称“大工委”)成立,是新工科联盟成立的首批工作委员会。但当前一个明显的事实是,大数据人才培养速度明显低于大数据发展和应用的速度。
2015年,国务院发布《促进大数据发展行动纲要》,其中明确提出:
创新人才培养模式,建立健全多层次、多类型的大数据人才培养体系。鼓励高校设立数据科学和数据工程相关专业,重点培养专业化数据工程师等大数据专业人才。鼓励采取跨校联合培养等方式开展跨学科大数据综合型人才培养,大力培养具有统计分析、计算机技术、经济管理等多学科知识的跨界复合型人才。鼓励高等院校、职业院校和企业合作,加强职业技能人才实践培养,积极培育大数据技术和应用创新型人才。依托社会化教育资源,开展大数据知识普及和教育培训,提高社会整体认知和应用水平。
从本质上来说,大数据平台也属于一类信息系统,从信息系统生命周期的视角出发,大数据平台也存在规划设计—建设—运维管理—应用的周而复始的过程,因此结合大数据行业实践情况,可将大数据人才分为五类,如图11-3-1所示。
以数据科学家为代表的大数据技术人才。数据科学家需要熟悉各种大数据技术的原理和相对的优劣势,合理利用各种技术来规划设计大数据平台的架构,根据不同业务领域中对于大数据的使用需求和商业理解来设计和开发算法。
以数据工程师为代表的大数据建设人才。数据工程师应该能够开发和搭建数据平台和应用,并且熟悉大数据应用开发的流程和原理,为大数据技术在各个领域的应用提供解决方案。
以运维管理工程师为代表的大数据运维人才。2020年发改委表示新基建分为信息基础设施、融合基础设施和创新基础设施三方面,以数据中心为代表的算力基础设施是信息基础设施的重要构成部分。大数据平台建成后日常的运维管理十分重要,运维管理人才负责数据中心实际运作全过程,对于确保大数据中心的可持续发展具有重要作用。
以数据分析师为代表的大数据管理人才。数据分析师熟悉大数据的概念和原理,既具有一定的数理和统计学知识、能够熟练操作和使用数据软件和工具,也对某行业的业务知识具有一定了解,既懂数据又懂业务,工作在大数据与各个行业领域结合的第一线,借助大数据工具提升管理效率、促进行业发展。
处理大数据引发的法律事务的大数据法律人才。大数据及其运用对经济发展、社会治理和政府管理均产生巨大的影响,引发了一系列新的法律问题,因此大数据法律人才需要在学理层面进行深入研究以指导数据法治实践,支撑数字经济、数字政府和数字社会建设,这类人才很好地填补了数据时代产生的相关法律问题的空缺。
从大数据平台生命周期的视角出发,大数据技术人才主要负责大数据平台的构建与设计,服务于系统规划设计阶段;大数据建设人才主要负责大数据平台的搭建和开发,服务于系统实现阶段;大数据运维人才主要负责大数据平台的日程运维,服务于系统运维阶段;大数据管理人才主要负责大数据平台的实际应用,服务于系统应用阶段;大数据法律人才主要负责大数据相关的法律事务,和各个生命周期阶段均有关联。但上述各类人才的职责并不是截然分开的,例如大数据技术人才在规划设计平台结构时,也需要考虑未来的建设、运维、应用等方面的工作。
具体来说,各类人才需要具备的知识技能和所需完成的工作内容如表11-3-1所示:
大数据人才 | 需要具备的知识技能 | 主要工作内容 |
大数据技术人才 | 具备统计学、信息技术、软件工程知识,主要负责大数据的数据处理的全过程的构想,即通过大数据的获取、存储、清洗、加工、建模、传输和诠释支撑业务发展。 | 基于大数据技术的发展水平,考虑行业发展趋势,围绕业务及数据现状,规划构建大数据应用场景; 设计与构想大数据解决方案。 |
大数据建设人才 | 具备统计学、计算机科学、人工智能、可视化、信息经济学、网络科学、哲学社会科学、决策科学知识。 | 围绕业务对数据进行采集、处理、分析,面向业务建立模型; 设计和开发大数据平台; 管理和优化大数据平台; 大数据质量监控等。 |
大数据运维人才 | 具备大数据平台建设的相关知识,能够完成大数据平台的规划、设计、开发、调试、测试验证和验收等一系列的复杂流程,并能保障大数据平台的正常使用。 | 在规划阶段考虑如何为系统选择最佳模型,并将规划结果转化成图表和施工文件;建设阶段主要关注项目进度、质量性能并进行风险调度,以及一系列施工文件、建筑许可和项目订单变更的审查与批准;在运维阶段对环境健康与安全、人员管理、应急准备和响应、培训、性能监测,以及对维护、归档、基础设施、质量、能源以及财务等各方面进行有力管理。 |
大数据管理人才 | 具备计算机科学、管理学、经济学知识,了解某行业相关的业务知识,主要负责对大数据的保存、管理、维护和运营,并实际用于业务支撑。 | 对大数据进行价值挖掘,包括对数据统计结果的甄别与分析,对数据分析结果的评估与展示,对用户数据需求的判断与反馈。 |
大数据法律人才 | 既懂技术又懂法律,除了涉及隐私或数据的访问以外,还与竞争法相关,例如竞争法律与政策、数据保护政策以及消费者保护政策等。 | 解决由于大数据应用引发的相关法律问题,例如数据产权归属问题、数据处理者侵犯个人隐私、大数据集中导致的杀熟问题、数据算法合理性的裁量标准问题等,能准确定位各类数据主体的权利义务,规范数据的使用。 |
表11-3-1 大数据人才需要具备的知识技能和主要工作内容