熊猫铸造的水框架答案

【问题标题】：h2o frame from pandas casting熊猫铸造的水框架
【发布时间】：2018-09-24 04:16:56
【问题描述】：

我正在使用 h2o 从 python 执行预测建模。我已经使用 pandas 从 csv 加载了一些数据，并指定了一些列类型：

dtype_dict = {'SIT_SSICCOMP':'object',
              'SIT_CAPACC':'object',
              'PTT_SSIRMPOL':'object',
              'PTT_SPTCLVEI':'object',
              'cap_pad':'object',
              'SIT_SADNS_RESP_PERC':'object',
              'SIT_GEOCODE':'object',
              'SIT_TIPOFIRMA':'object',
              'SIT_TPFRODESI':'object',
              'SIT_CITTAACC':'object',
              'SIT_INDIRACC':'object',
              'SIT_NUMCIVACC':'object'
              }
date_cols = ["SIT_SSIDTSIN","SIT_SSIDTDEN","PTT_SPTDTEFF","PTT_SPTDTSCA","SIT_DTANTIFRODE","PTT_DTELABOR"]


columns_to_drop = ['SIT_TPFRODESI','SIT_CITTAACC',
       'SIT_INDIRACC', 'SIT_NUMCIVACC', 'SIT_CAPACC', 'SIT_LONGITACC',
       'SIT_LATITACC','cap_pad','SIT_DTANTIFRODE']


comp='mycomp'

file_completo = os.path.join(dataDir,"db4modelrisk_"+comp+".csv")
db4scoring = pd.read_csv(filepath_or_buffer=file_completo,sep=";", encoding='latin1',
                          header=0,infer_datetime_format =True,na_values=[''], keep_default_na =False,
                          parse_dates=date_cols,dtype=dtype_dict,nrows=500e3)
db4scoring.drop(labels=columns_to_drop,axis=1,inplace =True)

然后，在我设置了一个 h2o 集群后，我使用 db4scoring_h2o = H2OFrame(db4scoring) 将它导入到 h2o 中，然后我将分类预测变量转换为因子，例如：

db4scoring_h2o["SIT_SADTPROV"]=db4scoring_h2o["SIT_SADTPROV"].asfactor()
db4scoring_h2o["PTT_SPTFRAZ"]=db4scoring_h2o["PTT_SPTFRAZ"].asfactor()

当我使用 db4scoring.dtypes 检查数据类型时，我注意到它们设置正确，但是当我将其导入 h2o 时，我注意到 h2oframe 执行了一些不需要的到枚举的转换（例如从浮点数或从 int）。我想知道是否是一种在 H2OFrame 中指定变量格式的方法。

【问题讨论】：

标签： python pandas casting h2o

【解决方案1】：

是的，有。在此处查看 H2OFrame 文档：http://docs.h2o.ai/h2o/latest-stable/h2o-py/docs/frame.html#h2oframe

您只需要在投射时使用column_types 参数即可。

这是一个简短的例子：

# imports
import h2o
import numpy as np
import pandas as pd

# create small random pandas df
df = pd.DataFrame(np.random.randint(0,10,size=(10, 2)), 
columns=list('AB'))
print(df)

#   A  B
#0  5  0
#1  1  3
#2  4  8
#3  3  9
# ...

# start h2o, convert pandas frame to H2OFrame
# use column_types dict to set data types
h2o.init()
h2o_df = h2o.H2OFrame(df, column_types={'A':'numeric', 'B':'enum'})
h2o_df.describe() # you should now see the desired data types 

#       A   B
# type int enum
# ...

【讨论】：