大数据学习之路

首先在学习大数据的开始,一定要学会几个操作。(java和linux基本操作是学习的基础)

  1. 看官网,比如
    大数据入门篇
    学会自己去官网查看使用文档。
  2. 看日志,比如
    大数据入门篇
    搭建分布式或者在学习过程中可能会出现非常多的问题,我们要做到的就是遇到问题自己解决,查看日志报错信息,根据日志中的错误来解决这个问题。
  3. 看源码,比如
    这个的话就比较重要了,就拿mapreduce过程中的分片,我们去查看源码的话很容易就可以查看他的分片规则。大数据入门篇
    进入FileInputFormat查看getSplits方法就可以清晰的指导分片规则。

大数据的工具

hdfs:分布式存储系统
yarn:分布式资源调度
mapreduce:分布式计算框架
hive:数据仓库工具
hbase:分布式海量存储数据库
zookeeper:分布式协调服务
flume:分布式日志采集工具
sqoop:数据导入导出工具
mahout:机器学习算法库
oozie/azkaban:工作流调度平台

分布式思想

分而治之,处理海量数据。比如,hdfs文件系统,通过多台机器存储文件。后续在学习中需要逐渐培养这种思维方式。

相关文章: