大数据
- 什么是大数据?大数据是一种规模大到,从管理、获取、分析等,从传统的数据库软件已经无法实现的数据结合。
- 大数据的基本特征
- 1、Volume 数据量大,从TB级别,跃升到PB级别。
- 2、Velocity 实时性强,实时监测海量数据
- 3、Varirty 种类多样,网络日志、视频、图片、地理位置信息,等等。
- 4、Value 价值密度低,以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
- 大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。
- 大数据分析是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。
- 有很多工具可以处理大数据,大数据处理分析的六大最好工具:Hadoop、HPCC、Storm、Apache Drill、RapidMiner和Pentaho BI。Hadoop旨在通过一个高度可扩展的分布式批量处理系统,对大型数据集进行扫描,以产生其结果。Hadoop项目包括三部分,分别是Hadoop Distributed File System(HDFS)、HadoopMapReduce编程模型,以及Hadoop Common。Hadoop平台对于操作非常大型的数据集而言可以说是一个强大的工具。为了抽象Hadoop编程模型的一些复杂性,已经出现了多个在Hadoop之上运行的应用开发语言。Pig、Hive和Jaql是其中的代表。而除了Java外,您还能够以其他语言编写map和reduce函数,并使用称为Hadoop Streaming(简写Streaming)的API调用它们。
物联网
- 物联网的英文名称为“The Internet of Things”,简称:IOT。物联网通过传感器、射频识别技术、全球定位系统等技术,实时采集任何需要监控、连接、互动的物体或过程,采集其声、光、热、电、力学、化学、生物、位置等各种需要的信息,通过各类可能的网络接入,实现物与物、物与人的泛在链接,实现对物品和过程的智能化感知、识别和管理。
传感网络 - WSN(Wireless Sensor Networks,无线传感器网络)是一种分布式传感网络,它的末梢是可以感知和检查外部世界的传感器。WSN中的传感器通过无线方式通信,因此网络设置灵活,设备位置可以随时更改,还可以跟互联网进行有线或无线方式的连接。通过无线通信方式形成的一个多跳自组织网络。它综合了传感器技术、嵌入式计算技术、现代网络及无线通信技术、分布式信息处理技术等。
- 智能交通管理、智能家居、无线心脏、传感器安在牛身上等
物联网的三层架构
- 感知层:实现对物理世界的智能感知识别、信息采集处理和自动控制,并通过通信模块将物理实体连接到网络层和应用层。
- 网络层:主要实现信息的传递、路由和控制,包括延伸网、接入网和核心网,网络层可依托公众电信网和互联网,也可以依托行业专用通信网络。
- 应用层:包括应用基础设施/中间件和各种物联网应用提供信息处理、计算等通用基础服务设施、能力资源调用接口,以此为基础实现物联网在众多领域中的各种应用。
物联网体系划分 - 1、感知关键技术
- 2、网络通信关键技术
- 3、应用关键技术
- 4、共性技术和支撑技术