1.大数据概念
1.1什么是大数据?
大数据:挖掘和整合一切有用的信息,为人类社会提供更好的服务。
社交媒体的产生,数据开始呈现爆炸式的增长,大数据的提法开始进入大众的视野并获得了越来越多的关注。
1.2大数据五个特点
- 类型多
1.1 25%结构化数据:
- “1、2、3、4”等传统数字以及符号
1.2 75%非结构化数据:
- 网络日志、音频、视频、图片、地理位置信息
- 社交媒体中产生的数据
- 容量大
根据IDC(国际数据公司)的监测统计,2011年全球数据总量已经达到1.8ZB,而这个数值还在以每两年翻一番的速度增长,预计到2020年全球将总共拥有35ZB的数据量,增长近20倍,相当于我们地球上所有海滩沙粒总数的57倍。
- 存取速度快
- 数据产生得快
- 数据处理速度快
- 应用价值达
大数据之“大”,其实并不在于其表面的“大容量”,而在于其潜在的“大价值”。如果不能把拥有的数据转化为价值,那么拥有再多的数据也是毫无意义的。
- 具备大智能
传感器、可穿戴式设备等微小的计算设备将进一步普及——“万物皆互联、无处不计算”
2.大数据是如何产生的
- 随着存储器硬件能力的提升,人类保存数据的能力在增强。
- 随着物联网技术与互联网经济的发展,人类生产数据的能力在增强。
2.1 机器产生的数据:
- 传感器感知和运输不断生产的数据
- 移动设备收集了大量的用户数据
2.2 人创造的数据
- 社交媒体及互联网经济的发展
- 移动设备收集了大量的用户数据
- 随着云计算的诞生与发展,人类处理数据的能力在增强。
- 云计算一般由数量惊人的计算机群构成,谷歌云计算拥有的服务器超过100万台;
- 云计算系统是一个极其庞大的资源池子,用户可以随时、随地、按需灵活地购买,就像购买煤气和自来水一样便利;
- 云计算让普通人体验每秒10万亿次的运算能力。而如此强大的计算能力,可以模拟核爆炸、预测气候变化和市场发展趋势。
![]()
3.大数据可以做什么
- 大数据让政府治理更精准透明
eg:1
eg2:谷歌流感趋势——谷歌工程师认为,搜索流感信息的人数与实际患病人数之间存在密切关联。2009年,甲型H1N1流感暴发的几周前,“谷歌流感趋势”成功预测了流感在美国境内的传播,其分析结果甚至具体到特定的地区和州,并非常及时,令公共卫生官员备感震惊。而传统上,美国疾病控制中心要在流感暴发一两周之后才可以做到这些。
- 大数据让经济治理更有效
经济治理领域是大数据创新应用的沃土大数据是提高经济治理质量的有效手段。
- 推导宏观大趋势
- 降低银行坏账率
- 打击假冒伪劣
- 提高生产效率
- 大数据让公共服务更智慧
eg1:高德导航
eg2:医疗方面——基于大数据技术,有朝一日,机器的诊疗准确率甚至可能超过人类历史上最有名的名医
- 大数据让商业创新更迅猛
商业领域变革:未来,无论是在中国,还是在世界其他国家,数据密集型产业将成为发展最快的产业。拥有数据最多的公司将迅速崛起为这个时代的领军公司。
马云演讲:什么是大数据的时代