按照《中华人民共和国标准化法》的定义,标准是指农业、工业、服务业以及社会事业等领域需要统一的技术要求。标准包括国家标准、行业标准、地方标准、团体标准和企业标准。国家标准分为强制性标准、推荐性标准。行业标准、地方标准一般是推荐性标准。强制性标准必须执行。国家鼓励采用推荐性标准。国务院标准化行政主管部门统一管理全国标准化工作。国务院有关行政主管部门分工管理本部门、本行业的标准化工作。县级以上地方人民政府标准化行政主管部门统一管理本行政区域内的标准化工作。县级以上地方人民政府有关行政主管部门分工管理本行政区域内本部门、本行业的标准化工作。
全球已步入大数据时代,作为继云计算后的新一代信息技术,大数据技术、大数据产业发展和大数据应用已经对政府、企业和人们的生活方式产生深远的影响。政府机构、社团组织、企业都在积极推进大数据标准化工作。
标准化工作需要科学的顶层设计,大数据标准化也不例外。制定体现大数据技术特点的、完善的标准体系框架对制定高质量、体系化的大数据标准至关重要。我国在2014年成立了全国信息技术标准化技术委员会大数据标准工作组(以下简称“信标委大数据标准工作组”),统筹开展我国大数据标准化工作。该工作组结合国内外大数据标准化情况、国内大数据技术发展现状、大数据参考架构及标准化需求,提出了我国的大数据标准体系框架。该大数据标准体系总体上由七个类别的标准组成,分别为:基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准、行业应用标准。在大数据不同的发展阶段,有着不同的标准化需求与工作重点。总的来说,在标准化的起步阶段,以术语、参考架构等基础性标准为重点。而随着大数据技术的发展和应用的普及深入,其它类别标准的重要性也不断显现,同时不同国家的标准化重点也会有不同侧重。例如,随着“中国制造2025”规划的提出,工业大数据相关应用在我国呈现出快速发展的势头,相应的与工业大数据相关的标准化工作也成为行业应用标准的热点。
从国际上看,大数据方面的工作主要集中在以下4个方面:一是政府层面,主要是提供政策导向,推动政府数据、科学数据开放,为大数据发展提供政策支持和可信数据来源;二是研究机构利用政府资金,开展科学数据、论文等开放数据集建设,并开展数据集间互操作方面的研究;三是公司研制分布式数据处理平台等产品,为大数据发展提供技术和产品支撑;四是标准化方面,ISO/IECJTC1标准化组织成立了大数据研究组。从国内情况来看,多个地方政府提出大力发展大数据的政策导向。
8-1-1为5类标准的示意图。
国家标准是指由国家机构通过并公开发布的标准。中华人民共和国国家标准是指对我国经济技术发展有重大意义、必须在全国范围内统一的标准。对需要在全国范围内统一的技术要求,应当制定国家标准。国家标准在全国范围内适用,其他各级标准不得与国家标准相抵触。国家标准一经发布,与其重复的行业标准、地方标准相应废止,国家标准是标准体系中的主体。国家标准分为强制性国家标准和推荐性国家标准。
强制性国家标准:是对保障人身健康和生命财产安全、国家安全、生态环境安全以及满足经济社会管理基本需要的技术要求。强制性国家标准代号:GB。
推荐性国家标准: 是对满足基础通用、与强制性国家标准配套、对各有关行业起引领作用等需要的技术要求。推荐性国家标准代号:GB/T。为适应某些领域标准快速发展和快速变化的需要,1998年规定在四级标准之外,增加一种“国家标准化指导性技术文件”,作为对国家标准的补充。国家标准化指导性技术文件代号:GB/Z。
大数据领域的标准化工作是支撑大数据产业发展和应用的重要基础。为了推动和规范我国大数据产业快速发展,建立大数据产业链,与国际标准接轨,2014 年12 月全国信标委大数据标准工作组正式成立。2016 年4月,全国信安标委大数据安全标准特别工作组正式成立。
工作组主要负责制定和完善我国大数据领域标准体系,组织开展大数据相关技术和标准的研究,申报国家、行业标准,承担国家、行业标准制修订计划任务,宣传、推广标准实施,组织推动国际标准化活动,对口ISO/IEC JTC 1/SC 42/WG2(原ISO/IEC JTC 1/WG 9)大数据工作组工作。包括总体专题组、国际专题组、技术专题组、产品和平台专题组、工业大数据专题组、政务大数据专题组、服务大数据专题组、生态环境大数据专题组、电力大数据专题组、大数据治理专题组等多个专题组,负责大数据领域不同方向的标准化工作。
数据安全标准特别工作组已进行《大数据基础软件安全技术要求》《大数据业务安全风险控制实施指南》《数据安全分类分级实施指南》《区块链安全技术标准研究》等研究工作,在2018年编制发布了《大数据安全标准化白皮书(2018版)》,并逐步发布其研究成果。
行业标准是指没有推荐性国家标准、需要在全国某个行业范围内统一的技术要求。行业标准是对国家标准的补充,是在全国范围的某一行业内统一的标准。行业标准在相应国家标准实施后,应自行废止。各个行业的行业标准代号都有所不同,例如通信行业的行业标准代号为YD,电子行业的行业标准代号为SJ。针对行业对数据应用特点,多个行业针对大数据颁布了一系列行业标准。如中国通信标准化协会颁布的电信大数据平台数据脱敏实施方法、电信网和互联网大数据平台安全防护要求、大数据分布式批处理平台技术要求与测试方法、面向大数据处理的物联网技术需求等。全国金融标准化技术委员会颁布的金融大数据平台总体技术要求、证券期货业大数据平台性能测试指引等。全国广播电影电视标准化技术委员会颁布的网络视听收视大数据技术规范、网络视听收视大数据技术规范(/数据元素集/接口)、有线电视网络大数据技术规范(通用要求/平台要求/数据规则)等。
地方标准是指在国家的某个地区通过并公开发布的标准。如果没有国家标准和行业标准,而又需要满足地方自然条件、风俗习惯等特殊的技术要求,可以制定地方标准。地方标准由省、自治区、直辖市人民政府标准化行政主管部门编制计划,组织草拟,统一审批、编号、发布,并报国务院标准化行政主管部门和国务院有关行政主管部门备案。地方标准在本行政区域内适用。在相应的国家标准或行业标准实施后,地方标准应自行废止。地方标准代号为“DB”加上省、自治区、直辖市的行政区划代码。
2017年2月,国内首个大数据标准化技术委员会在贵州省贵阳市成立。此后,基于大数据产业发展区域特点,全国各地区纷纷成立了地方性的大数据标准化技术委员会,逐步开展大数据地方标准编制工作,旨在形成安全可靠、统一规范、便捷高效的地方大数据标准体系建设,服务当地大数据产业发展。
团体标准是由社会团体按照团体确立的标准制定程序自主制定发布、由社会自愿采用的标准。社会团体可在没有国家标准、行业标准和地方标准的情况下,制定团体标准,快速响应创新和市场对标准的需求,填补现有标准空白。国家鼓励社会团体制定严于国家标准和行业标准的团体标准,引领产业和企业的发展,提升产品和服务的市场竞争力。
团体标准编号依次由团体标准代号(T)、社会团体代号、团体标准顺序号和年代号组成。团体标准编号中的社会团体代号应合法且唯一,不应与现有标准代号相重复,且不应与全国团体标准信息平台上已有的社会团体代号相重复。如:贵州省软件行业协会的发布《大数据企业评估规范》《大数据产品评估规范》,广东省网络空间安全协会关于发布《商业智能与大数据分析软件通用技术规范》团体标准的公告,四川省大数据产业联合会发布《大数据 企业信用信息主体动态标识规范》团体标准等。
通常情况下选用标准时的顺序为:国标→行标→团标。有国标和行标时优先选用国标和行标,没有国标和行标时,社会团体可以自主制定团体标准。在有国标和行标时,团体标准的规定必须严于国标和行标。
在企业围绕大数据系统进行经营管理过程中,结合国家、地方、行业、团体标准,企业自主颁布自身的作业标准、制造标准或服务标准。该标准相对于前面的标准,属于微观、操作性标准,能直接指导企业中一线作业人员的具体工作实践。很多企业越来越重视企业标准的实施。企业标准在建立过程中,可参考计算机通信系统的标准,定义的标准能够被计算机识别。为保障企业产品的质量稳态输出,企业逐渐提高信息化程度,将企业定义的作业标准逐渐纳入到计算机自动化检查体系中。
围绕大数据全生命周期的应用,企业应用到的大数据相关产品可包含
数据采集:各种ETL工具、消息中间件工具等
数据计算存储:关系型、非关系型等数据库类产品
数据分析与挖掘:数据分析的各种算法工具、神经网络、深度学习、强化学习等产品
数据可视化:将数据以多种形式进行可视化展现的工具
数据的质量管理:主数据管理、数据血缘分析等产品
数据安全:数据加密等产品
根据企业提供的应用场景,针对具体的应用,将产品进行灵活组合集成,最终形成企业解决方案,这些产品及工具将为大数据的发展奠定坚实基础,为具体落实到应用中提供良好的可落地的技术保障。