如何基于通配符加入熊猫数据框？答案

【问题标题】：How to join pandas dataframes based on wildcards?如何基于通配符加入熊猫数据框？
【发布时间】：2017-08-25 07:22:04
【问题描述】：

我有两个数据框 df 和 df2，我想将它们与 * 合并为通配符

import pandas as pd
data = [[".",".",1],["AB.","B.",3],["B.",".",2]]
data2 = [["A","B","1"],["ABC","BC",4],["B","A",2]]
columns = ["Type1","Type2","Value"]
df = pd.DataFrame(data,columns=columns)
df2 = pd.DataFrame(data2,columns=columns)
print(df)
print(df2)
  Type1 Type2  Value
0     *     *      1
1   AB*    B*      3
2    B*     *      2
  Type1 Type2 Value
0     A     B     1
1   ABC    BC     4
2     B     A     2

通常这里 df2 的第二行应该与第 1 行和第 2 行匹配。而 df2 中的第 0 行应该只匹配 df1 的第一行。不知何故，我想得到类似的东西

df2.merge(df,how='left',on=["Type1","Type2"])

但是这里的结果不匹配任何东西。

这是我想要得到的结果。

data3 = [["A","B","1","1"],["ABC","BC",4,1],["ABC","BC",4,3],["B","A",2,1],["B","A",2,2]]
columns3 = ["Type1","Type2","Value_x","Value_y"]
results = pd.DataFrame(data3,columns=columns3)
print(results)
  Type1 Type2 Value_x Value_y
0     A     B       1       1
1   ABC    BC       4       1
2   ABC    BC       4       3
3     B     A       2       1
4     B     A       2       2

请注意，df2 表实际上有超过 100 万行，因此出于效率原因，我无法执行循环。

【问题讨论】：

您的预期结果是什么？
好吧，我刚刚做到了 :)

标签： python regex pandas dataframe wildcard

【解决方案1】：

最后我决定使用下面的代码。这会将数据帧传输到 SQLite 数据库，然后执行连接，最后将其带回另一个数据帧。这不是最佳的，但它有效。

import sqlite3
conn = sqlite3.connect(':memory:')
df.to_sql('df', conn, index=False)
df2.to_sql('df2', conn, index=False)
query = """
SELECT [df2].[Type1],
       [df2].[Type2],
       [df2].[value],
       [df].[value]
FROM   ([df]
        LEFT OUTER JOIN [df2]
                     ON [df].[type1] LIKE [df2].[type1]
                     AND [df].[type2]   LIKE [df2].[type2])
"""
df3 = pd.read_sql_query(query, conn)
conn.close()

【讨论】：