大数据运维工程师
作者:史建安
声明：本文章是个人现阶段水平的理解与阐述，不作任何保证，欢迎大家评论，探讨学习。
一，大数据运维工作职责：
（1）部署大数据集群，其中有不同的平台，其中最为主流的有cdh（cloudera manager），ambari。
（2）维护集群，也就是我们所搭建的环境，其中又分为三种：测试环境，开发环境，生产环境。
（3）大数据环境下所包含的组件有：hdfs（分布式文件系统），zookeeper（分布式应用程序协调服务），hbase（分布式且面向列的开源数据库），kafka（开源流处理平台），flume（高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统），spark（为大规模数据处理而设计的快速通用的计算引擎），yarn（资源调度平台）......
（4）解决集群以及集群下所产生的故障。
（5）根据系统配合大数据环境进行调优，是集群达到一个最优化，使用效率更高。
二，大数据运维所需的技术
（1）linux：常用命令
（2）java：基础开发，以及日常bug分析以及定位
（3）shell：有一定基础的shell脚本编写能力
（4）硬件，网络，安全等基础知识
（5）开源软件的使用：监控软件（ganglia，zabbix），调度（azkaban）......
（6）以及大数据组件的原理以及使用（hdfs，hbase，hive，kafka，flume，yarn，zookeeper......），方便我们工作中解决故障
三，大数据运维工程师的脑袋
（1）学会如何通过日志，报错信息，经验来判断故障，并进行精准定位
（2）参考论坛，官网，书籍，来进行故障解决
（3）要求掌握全方位知识，从java到linux系统，从数据库到大数据生态内组件，以及一定的英语水平
（4）尝试学习新的技术，敢于探索，积极尝试
四，博主的一段话
人无完人，每个人都有自己的缺点，当我们不喜欢一件事情，但又不得不做的时候，我们要转变思维，转换角度来看待当下的我们，只要我们做就会越来越好，只要我们不做我们就是在退步就是在被别人超越。
我不喜欢互联网，我不喜欢坐在电脑前，我不喜欢做程序员，我不喜欢不喜欢...
那每个人都想喜欢做有趣的，轻松地，欢快的，
但是，我们在做的是主要推动社会进步的行业，小到手机中的app，大到军事，在这个信息的时代我们是有价值的，
既然选择了，就从容面对，培养兴趣，保证了我们的生活，我们就有时间，经历，金钱去做我们想做的事情。
加油，我们共同成长。