【发布时间】:2015-05-07 18:02:07
【问题描述】:
我有一个要清理的大型调查数据集(300 列,30000 行)并且列是混合的。我将 Python 与 pandas 和 numpy 一起使用。我非常处于使用 Python 的学习轮阶段。
- 某些列有 Y 或 N 个问题的答案(这些都填写为“Y”或“N”)。
- 有些是李克特量表问题,有 5 个可能的答案。在 CSV 文件中,每个答案(同意、不同意等)都有自己的列。这已导入为 1 表示是,否则为 NaN。
- 其他问题最多有 10 个可能的答案(例如年龄),这些已作为字符串导入到一列中 - 即“a. 0-18”或“b. 19-25”等等。改变这些会很有趣!
我正在将 Y/N 答案更改为 1 或 0。但是,对于李克特量表列,我担心做同样的事情可能会有风险。有没有人认为现在将这些数据保留为 NaN 是否更可取?性别是相同的 - 男性和女性有一个单独的列,两者都填充 1 表示是,NaN 表示否。
我打算使用 Python 进行数据分析/制图(将导入 matplotlib 和 seaborn)。由于这对我来说是新的,我猜我现在所做的更改可能会在以后产生意想不到的后果!
如果您能提供任何指导,我们将不胜感激。
提前致谢。
【问题讨论】:
标签: python numpy pandas nan data-cleaning