大数据学习（10）--流计算

文章目录

• 目录
• 1.流计算的概述
• 1.1 什么是流数据？
• 1.2 批量计算和实时计算
• 1.3 流计算的概念
• 1.4 流计算和Hadoop
• 1.5 流计算框架
• 2.流计算的处理流程
• 2.1 流计算处理基本概念
• 2.2 数数据的实时获取
• 2.3 数据的实时计算
• 2.4 实时查询任务
• 3.流计算的应用和开源框架Strom
• 3.1 流计算应用
• 3.1.1 应用1：实时分析
• 3.1.1 应用2：实时交通
• 3.2 开源框架strom
• 3.2.1 strom简介
• 3.2.2 strom的特点
• 3.2.3 strom设计思想
• 3.2.4 strom框架设计
• 4.spark streaming
• 4.1 设计思想
• 4.2 spark streaming 和 strom的对比
• 5.Samza
• 5.1 基本概念
• 5.2 系统架构
• 6.strom,spark streaming 和samza的应用场景
• 7.Strom编程实践
• 7.1 编写strom程序
• 7.2 安装strom的基本过程
• 7.3 运行strom程序
• 8.总结

目录

1.流计算的概述

1.1 什么是流数据？

静态数据-数据仓库

流数据-物联网传感器数据

1.2 批量计算和实时计算

1.3 流计算的概念

1.4 流计算和Hadoop

1.5 流计算框架

2.流计算的处理流程

2.1 流计算处理基本概念

传统批处理

流计算

主要体现的就是数据的实时性！

2.2 数数据的实时获取

2.3 数据的实时计算

2.4 实时查询任务

3.流计算的应用和开源框架Strom

3.1 流计算应用

3.1.1 应用1：实时分析

3.1.1 应用2：实时交通

3.2 开源框架strom

3.2.1 strom简介

3.2.2 strom的特点

3.2.3 strom设计思想

3.2.4 strom框架设计

4.spark streaming

4.1 设计思想

4.2 spark streaming 和 strom的对比

5.Samza

5.1 基本概念

5.2 系统架构

6.strom,spark streaming 和samza的应用场景

7.Strom编程实践

7.1 编写strom程序

7.2 安装strom的基本过程

参考博客

7.3 运行strom程序

8.总结