清理熊猫数据框中的 URL 列

Question

我有内容如下的 csv（或数据框）：

date          | URLs                                         | Count
-----------------------------------------------------------------------
17-mar-2014   | www.example.com/abcdef&=randstring           | 20
10-mar-2016   | www.example.com/xyzabc                       | 12
14-apr-2015   | www.example.com/abcdef                       | 11
12-mar-2016   | www.example.com/abcdef/randstring            | 30
15-mar-2016   | www.example.com/abcdef                       | 10
17-feb-2016   | www.example.com/xyzabc&=randstring           | 15
17-mar-2016   | www.example.com/abcdef&=someotherrandstring  | 12

我想清理我想将www.example.com/abcdef&=randstring 或www.example.com/abcdef/randstring 转换为 www.example.com/abcdef 的列“URLs”，等等。

我尝试使用 urlparse 库并解析 URL 以仅组合 urlparse(url).netloc 和 urlparse(url).path/query/params。但是，由于每个 URL 都会导致完全不同的路径/查询/参数，因此它的效率很低。

有没有使用 pandas 解决这个问题的方法？非常感谢任何提示/建议。

Answer 1

我认为您可以使用extract by regex - 在www 和.com 之间过滤由a-z 和A-Z 创建的所有字符串，以及另一个以/ 开头的字符串：

print (df.URLs.str.extract('(www.[a-zA-Z]*.com/[a-zA-Z]*)', expand=False))
0    www.example.com/abcdef
1    www.example.com/xyzabc
2    www.example.com/abcdef
3    www.example.com/abcdef
4    www.example.com/abcdef
5    www.example.com/xyzabc
6    www.example.com/abcdef
Name: URLs, dtype: object

Answer 2

我认为它与正则表达式的关系比 pandas 更多，尝试使用 pandas.apply 更改一列。

import pandas as pd
import re

def clear_url(origin_url):
    p = re.compile('(www.example.com/[a-zA-Z]*)')
    r = p.search(origin_url)
    if r:
        return r.groups(1)[0]
    else:
        return origin_url


d = [
    {'id':1, 'url':'www.example.com/abcdef&=randstring'},
    {'id':2, 'url':'www.example.com/abcdef'},
    {'id':3, 'url':'www.example.com/xyzabc&=randstring'}
]
df = pd.DataFrame(d)

print 'origin_df'
print df

df['url'] = df['url'].apply(clear_url)
print 'new_df'
print df

输出：

origin_df
id                                 url
0   1  www.example.com/abcdef&=randstring
1   2              www.example.com/abcdef
2   3  www.example.com/xyzabc&=randstring
new_df
id                     url
0   1  www.example.com/abcdef
1   2  www.example.com/abcdef
2   3  www.example.com/xyzabc