引言
大数据时代来临，各行业数据规模呈TB级增长，拥有高价值数据源的企业在大数据产业链中占有至关重要的核心地位。
在实现大数据集中后，如何确保网络数据的完整性、可用性和保密性，不受到信息泄漏和非法篡改的安全威胁影响，已成为政府机构、事业单位信息化健康发展所要考虑的核心问题。
大数据安全概况
a）标准化现状：
网络安全等级保护 大数据安全扩展要求
等级保护对象1.0中定义为：“信息安全等级保护工作直接作用的具体信息和信息系统”，修订后的等级保护对象定义为：“网络安全等级保护的作用对象，主要包括基础信息网络、信息系统(如工业控制系统、云计算平台、物联网、使用移动互联技术的信息系统以及其他信息系统)和大数据等。
明确要求：数据生命周期的等级保护要求；大数据平台安全；大数据运行环境安全
《中国移动业务支撑网大数据平台安全管控技术规范》
内容包括：大数据平台安全管控；大数据平台自身安全；大数据平台运行环境安全；对接安全管理平台
b）面临的挑战
大数据安全与传统数据安全相比，存在一些差异，大数据环境的特点是分布式、组件多、接口多、类型多、数据量大，这些特性给大数据安全引入了技术难点。
主流开源大数据组件二十多款，还有大量第三方封装的组件，不同组件使用的交互接口不同，安全产品面对这么多组件接口，在监控、防护、溯源的方案设计和技术实现上都有难度。
大数据平台要存储和处理的数据量庞大，IDC预计，到2020年全球数据总量将超过40ZB，面对持续膨胀的数据量，安全产品不仅要提高单机产品的处理性能，还要考虑产品扩容和延展性。
大数据平台要存储和处理的数据类型众多，结构化数据、半结构化数据、非结构化数据。要对非结构化数据做识别、分类分级和脱敏处理，有一定技术难度。
针对数据采集和加工处理数据量大的特点，需要考虑安全成本，也需要针对敏感数据进行特别考虑
针对数据来源多样性的特点，需要进行数据分级（包括数据源、中间数据和结果数据），并考虑数据访问控制策略。有的大数据平台本身具有安全设计，有些则需要与企业其他安全机制进行集成。
针对大数据平台高速处理的特点，对多节点处理的情况需要考虑如何有效监控。同时，传统安全工具大多针对交易型应用，无法处理大数据量高速处理的情况。
针对不同的大数据平台特点，考虑其特殊的安全需求
分布式文件系统，如Hadoop。Hadoop的安全框架基于Kebros认证体系和传输加密。Hadoop多节点分布式文件系统，协议复杂，增加了应用安全的复杂性。任何一个节点的数据受到破坏，都可能影响决策分析的结果。Hadoop本身没有提供对节点静态数据的加密特性，可能无法满足一些合规性的要求。目前有一些针对Hadoop安全的开源项目正在开展。如Rhino的目标就是解决HBase加密和单点登录问题。
NoSQL数据库，如ApacheCassandra：Cassandra来自Facebook的混合型的非关系的数据库，面向列的设计抱枕针对网络社交计算的性能和扩展性，但在数据安全方面考虑的较少。Cassandra数据库仅提供简单的用户名密码认证，其平行节点分布处理模式不能够对写入数据库的数据进行验证。Cassandra的查询语言CQL也存在类似SQL注入的弱点，现有安全工具对CQL安全考虑的较少。
大数据云服务：通过云技术可以提供大数据基础计算环境支撑，也可以提供高级分析技术的运行环境。Hadoop和Cassandra也可以在云计算环境中部署。云服务提供商可以提供基础的平台安全和网络安全环境，但由于云计算多租户特点和运营环境的限制，要实现安全的大数据解决方案，在数据和应用层面需要额外的设计和考虑。企业需要考虑敏感数据在云端处理的安全性，也需要将认证和授权扩展到云计算环境。
c)主要内容
大容量和真实性-----数据安全：个人信息、重要数据、数据共享安全；平台和技术安全：数据平台安全
-------分类分级、共享、数据开放、隐私保护等管理规范需求；
种类多和增长快-----数据平台安全（平台稳定性、可用性、扩展性、易用性、维护需求）----各类安全服务需求
安全技术分类
1、大数据安全审计
大数据平台组件行为审计，将主客体的操作行为形成详细日志、包含用户名、IP、操作、资源、访问类型、时间、授权结果、具体设计新建事件概括、风险事件、报表管理、系统维护、规则管理、日志检索等功能。
2、大数据脱敏系统
针对大数据存储数据全表或者字段进行敏感信息脱敏、启动数据脱敏不需要读取大数据组件的任何内容，只需要配置相应的脱敏策略。
3、大数据脆弱性检测
大数据平台组件周期性漏洞扫描和基线检测，扫描大数据平台漏洞以及基线配置安全隐患；包含风险展示、脆弱性检测、报表管理和知识库等功能模块。
4、大数据资产梳理
能够自动识别敏感数据，并对敏感数据进行分类，且启用敏感数据发现策略不会更改大数据组件的任何内容。
5、大数据应用访问控制
能够对大数据平台账户进行统一的管控和集中授权管理。为大数据平台用户和应用程序提供细粒度级的授权及访问控制。
大数据平台下的安全问题
1、安全管理
安全管理是指大数据平台安全管理方面的要求，包括管理制度、机构和人员管理、系统建设管理、运维管理等内容及配套管理流程。安全防护离不开管理与技术协同，国家、政府、行业自上而下应该有安全管理制度和管理流程，指导具体安全工作的开展和实施。
2、平台安全
平台安全指平台主机、系统、组件自身的安全和身份鉴别、访问控制、接口安全、多租户管理等安全问题，是对大数据平台传输、存储、运算等资源的安全防护要求。企业大多数都使用基于社区化、开源化组件的Hadoop平台，缺乏安全方面的考虑。
3、数据安全
数据属于一种资产，有6个生命周期阶段：采集、传输、存储、处理、交换、销毁；数据安全要保障数据在任何阶段下都是安全的。围绕数据全生命周期考虑数据安全问题，例如：数据采集阶段的分类分级、清洗比对、质量监控；数据传输阶段的安全管理；数据存储阶段的安全存储、访问控制、数据副本、数据归档、数据时效性；数据处理和交换阶段的分布式处理安全、数据加密、数据脱敏、数据溯源；数据交换阶段的数据导入导出、共享、发布、交换监控；数据销毁阶段的介质使用管理、数据销毁、介质销毁等安全问题。
4、运维安全
运维人员的权限相对较大，运维人员直接对数据库进行操作，涉及的数据量非常大，数据的安全难以保障。例如：内部人员的误操作导致数据丢失或不可用，蓄谋恶意行为导致数据泄露。
5、业务安全
业务安全跟业务强相关，跟应用场景和业务流量特征有关，一般的防护手段很难发现，涉及到业务学习和行为分析。例如：缓慢少量攻击、共谋、在噪音中隐身、持续渗漏尝试、长期潜伏者等。
大数据安全防护思路
一、防护思路
大数据安全防护方案可按层次考虑，平台安全、数据安全、运维安全、业务安全，层层深入，逐步提升安全性。
1、平台安全
数据的存储和流转依托大数据平台和各业务系统，平台自身安全是第一步，通过平台各组件与系统的漏洞扫描管理、规范化的基线核查管理、平台态势感知，确保大数据平台的安全运行。
2、数据安全
关注数据的安全存储，数据梳理，掌握数据全景图，让数据风险可量化；关注数据在处理、交换、使用时安全，身份认证、访问控制、数据加密、数据脱敏，防止非法或越权访问数据，对数据访问进行管控、数据审计。
3、运维安全
收敛大数据平台的数据访问途径，对运维人员访问大数据平台的操作行为进行操作管控、操作审计。
4、业务安全
机器学习建模，对敏感数据的访问行为和敏感业务进行机器学习，对用户行为进行分析，感知和预测业务安全风险。
二、国外厂商方案
1、Informatica
该厂商的大数据安全解决方案支持对结构化、非结构化数据做发现、分类、风险评分，数据访问和操作监控，发现可疑或未授权操作，数据保护，敏感数据扩散跟踪，让风险跟踪处置形成闭环。
2、Dataguise
该厂商提供全局敏感数据管理解决方案，产品旁路部署在大数据集群边界，可实时检测、审计、保护和监视敏感数据资产。
大数据安全保障框架
大数据与传统数据资产相比，具有较强的社会属性。为实现安全防护目标，需要融合安全治理、技术、标准、运维和测评来系统性地解决大数据的安全问题。从安全治理着眼，以安全技术、安全运维和安全测评为支撑，构建流程、策略、制度、测评多重保障体系。同时，需要以标准为保障，实现安全互联协同，达到多维立体的防护。
1、大数据安全总体技术框架
大数据的安全技术体系是支撑大数据安全管理、安全运行的技术保障。以“密码基础设施、认证基础设施、可信服务管理、**管理设施、安全监测预警”五大安全基础设施服务，结合大数据、人工智能和分布式计算存储能力，解决传统安全解决方案中数据离散、单点计算能力不足、信息孤岛和无法联动的问题。大数据的总体安全技术框架。
2、大数据安全治理
大数据的安全治理体系的目标是确保大数据“合法合规”的安全流转，保障大数据安全的情况下，让其价值最大化，来支撑企业的业务目标的实现。大数据的安全治理体系建设过程中行使数据的安全管理、运行监管和效能评估的职能。
3、大数据安全测评
大数据的安全测评是保证大数据安全提供服务的支撑保障，目标是验证评估所有保护大数据的安全策略、安全产品和安全技术的有效性和性能等。确保所有使用的安全防护手段都能满足大数据中主要参与者安全防护的需求。
4、大数据安全运维
大数据的安全运维以技术框架为支撑，主要确保大数据系统平台能安全持续稳定可靠运行， 在大数据系统运行过程中行使资源调配、系统升级、服务启停、容灾备份、性能优化、应急处置、应用部署和安全管控等职能。
大数据安全未来发展方向
由于政务大数据覆盖了自然人、法人、企业、政府机构等，同时和医疗、教育、民生服务等各个部门相关；因此，解决了政务大数据安全问题，就能有效解决其他行业大数据安全问题，有力支撑国家治理体系和治理能力现代化目标的实现。从企业层面来看，国家将统一标准规范，避免行业交流繁杂、数据所有权混乱、开发成本高等一系列问题。统一的数据管理平台，统一的数据存储，统一的数据标准，进行统一的数据资产管理，统一进行授权管理，这是未来探索的一个方向。