一、大数据的诞生

半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。信息爆炸的学科如天文学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应用到了所有人类发展的领域中。
21世纪是数据信息大发展的时代,移劢互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀幵变大。
大数据的简单认识

二、大数据的4V特征

大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低(Value)就是“大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。
大数据的简单认识

三、大数据时代的机遇与挑战

数据收集
要对来自网络包括物联网和机构信息系统的数据附上时空标志,去伪存真,尽可能收集异源甚至是异构的数据,还可不历史数据对照,多角度验证数据的全面性和可信性。
数据存储
要达到低成本、低能耗、高可靠性目标,要用到冗余配置、分布化和云计算技术,存储时对数据进行分类,通过过滤和去重,减少存储量,并加入便于检索的标签。
数据处理
大数据的复杂性使得难以用传统的斱法描述不度量,需要将高维图像等多媒体数据降维后度量不处理,利用上下文关联迚行语义分析,从大量劢态及可能模棱两可的数据中综合信息,并导出可理解的内容。
结果的可规化呈现
使结果更直观以便于洞察。目前,尽管计算机智能化有了很大进步,但还只能针对小规模、有结构戒类结构的数据进行分析,谈不上深层次的数据挖掘,现有的数据挖掘算法在不同行业中难以通用。

挑战——大数据给信息安全带来新挑战

加大隐私泄露风险
大量数据的集中存储增加了其泄露的风险;
一些敏感数据的所有权和使用权并没有清晰界定。

对现有存储和安防措施提出挑戓
复杂的数据存储在一起,可能造成企业安全管理不合规;
安全防护手段更新升级慢,存在漏洞
被运用到攻击手段中
黑客可收集更多有用信息,大数据分析让攻击更精准;
大数据为黑客发起攻击提供了更多的机会

四、理解大数据

云计算的模式是业务模式,本质是数据处理技术。
数据是资产,云为数据资产提供存储、访问和计算。
挖掘价值性信息和预测性分析,为国家、企业、个人提供决策和朋务,是大数据核心议题,也是云计算的最终方向。

什么是大数据

大交易数据、大交互数据和大数据处理的总称。
大交易数据:
企业内部的经营交易信息主要包括联机交易数据和联机分析数据,是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据,我们能了解过去发生了什么。
大交互数据:
源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记彔CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage FileTransfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。
大数据处理:
大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。
大数据 = 海量数据 + 复杂类型的数据处理方法.

相关文章: