Hbase1.2.1 转熊猫数据框

【问题标题】：Hbase1.2.1 to pandas dataframeHbase1.2.1 转熊猫数据框
【发布时间】：2016-04-27 10:42:28
【问题描述】：

我在 hbase(v-1.2.1) 中有一个表，我想在上面应用一些机器学习技术。因此，我想将我的表格从 hbase 加载到 pandas 数据框。

hbase(main):006:0> list
TABLE
cust_sms                                                              
1 row(s) in 0.0120 seconds
=> ["cust_sms"]
hbase(main):007:0>

表名是“cust_sms”，hbase的版本是1.2.1。我无法使用 happybase，因为它仅适用于 hbase 0.9.x 版本。

【问题讨论】：

标签： python pandas hbase bigdata

【解决方案1】：

我已经编写了一个 python 包来从 hbase 读取和写入 pandas 数据帧。我已经有一段时间没有使用这个包了。不过你可以试一试。 github 仓库是here。 PyPi 包是here

import happybase
import numpy as np
import pandas as pd
import pdhbase as pdh
connection = None
try:
    connection = happybase.Connection('127.0.0.1')
    connection.open()
    df = pdh.read_hbase(connection, 'sample_table', 'df_key', cf='cf')
    print df
finally:
    if connection:
        connection.close()

【讨论】：