抑制警告 -python-pandas-colab_notebook

Question

我正在尝试规范化 pandas df 中的三位数国家代码列。我发现了一个很棒的函数country_converter，我目前正在一个非常大的数据框中的国家列上运行这个函数。由于列中存在NaN 值，它返回了 数千个 警告。

警告：root:nan 在 ISO3 中找不到

我正在寻找两件事：

1. 专门抑制 nan 警告
2. 加快此函数的处理时间（我的想法是抑制警告应该加快处理速度；但是，如果您对我的代码尝试不同的东西有任何建议，那就太好了！

我已经尝试了该名称的所有变体，但似乎没有任何效果，所以我认为我遗漏了一些东西......

import country_converter as coco
import pandas as pd
import numpy as np
import warnings

warnings.filterwarnings("ignore", message= "nan not found in ISO3")
warnings.filterwarnings("ignore", message= "root:nan not found in ISO3")
warnings.filterwarnings("ignore", message= "WARNING:root:nan not found in ISO3")

test = pd.DataFrame({"code":[np.nan, 'XXX', 'USA', 'GBR', "GBR",'SWE/n', "123", "abs", "ABCC", "ABC", np.nan, np.nan]})


test['code_convert']= test["code"].apply(lambda x: coco.convert(names= x, to='ISO3', not_found= np.NaN))

预计不会再看到带有 nan 值的警告。

Answer 1

我已经调整了数据框中的数据，以使 np.nan 成为正确的 np.nan 而不是字符串。

test = pd.DataFrame(
    {
        "code": [
            np.nan,
            "XXX",
            "USA",
            "GBR",
            "GBR",
            "SWE/n",
            "123",
            "abs",
            "ABCC",
            "ABC",
            np.nan,
            np.nan,
        ]
    }
)

print(test)

     code
0     NaN
1     XXX
2     USA
3     GBR
4     GBR
5   SWE/n
6     123
7     abs
8    ABCC
9     ABC
10    NaN
11    NaN

那么您需要做的就是在进行计算时过滤掉 np.nan。

test["code_convert"] = test[test.notna()].apply(
    lambda x: coco.convert(names=x, to="ISO3")
)

我没有安装国家/地区转换器，但如果我简化申请测试：

test["code_convert"] = test[test.notna()].apply(
    lambda x: x + "_solution"
)

print(test)

     code    code_convert
0     NaN             NaN
1     XXX    XXX_solution
2     USA    USA_solution
3     GBR    GBR_solution
4     GBR    GBR_solution
5   SWE/n  SWE/n_solution
6     123    123_solution
7     abs    abs_solution
8    ABCC   ABCC_solution
9     ABC    ABC_solution
10    NaN             NaN
11    NaN             NaN