用python搭建数据分析体系 - iBit

用python搭建数据分析体系

思路：从Hive中清洗假工业务数据，通过使用Sqoop工具同步数据到MySQL中，再通过Python调用MySQL中的数据进行分析

工具：pycharm，pandas，numpy，MySQLdb，E-mail

1. 梳理业务逻辑，在集群环境中编写Hive脚本，在加工到MySQL中
2. 利用python关联数据库

   import select_data

    

3. 数据将存储在alldata中，直接调用

   def select_data():
       try:
           conn=MySQLdb.conncet(host=\'\',user=\'\',passwd=\'\',db=\'\',charset=\'utf8\')
       except Exceotion,e:
           print e
           sys.exit()