在 python 上导入文本文件

Question

我的问题可能已经问过，但我为我工作的场景没有得到任何帮助。

尝试了不同的方法和事情，但仍然没有运气，任何帮助将不胜感激

问题

我正在尝试从 URL https://www.sec.gov/Archives/edgar/cik-lookup-data.txt 加载文本文件，因此我可以修改数据并创建数据框。

示例：- 来自链接的数据

1188 百老汇有限责任公司：0001372374：

119 博伊西有限责任公司：0001633290：

11900 东阿蒂西亚大道有限责任公司：0001639215：

11900 哈兰路有限责任公司：0001398414：

11:11 资本公司：0001463262：

我应该得到低于输出

   Name                              | number 
   1188 BROADWAY LLC                 | 0001372374 
   119 BOISE, LLC                    | 0001633290 
   11900 EAST ARTESIA BOULEVARD, LLC | 0001639215 
   11900 HARLAN ROAD LLC             | 0001398414 
   11:11 CAPITAL CORP.               | 0001463262

我遇到了加载文本文件的第一个问题，我不断收到 403 url HTTPError: HTTP Error 403: Forbidden

参考文献：

1. Given a URL to a text file, what is the simplest way to read the contents of the text file?
2. Python requests. 403 Forbidden

我的代码：-

import urllib.request  # the lib that handles the url stuff

data = urllib.request.urlopen("https://www.sec.gov/Archives/edgar/cik-lookup-data.txt") # it's a file like object and works just like a file
for line in data: # files are iterable
    print (line)

Answer 1

返回的错误信息是：

您的请求已被识别为自动化网络的一部分 可接受的政策之外的工具，并将被管理，直到 采取行动宣布您的流量。请声明您的 通过更新您的用户代理以包含公司特定的流量 信息。

您可以通过以下方式解决此问题：

import urllib

url = "https://www.sec.gov/Archives/edgar/cik-lookup-data.txt"
hdr = {'User-Agent': 'Your Company Name admin@domain.com'} #change as needed

req = urllib.request.Request(url, headers=hdr) 

data = urllib.request.urlopen(req, timeout=60).read().splitlines()

>>> data[:10]
[b'!J INC:0001438823:',
 b'#1 A LIFESAFER HOLDINGS, INC.:0001509607:',
 b'#1 ARIZONA DISCOUNT PROPERTIES LLC:0001457512:',
 b'#1 PAINTBALL CORP:0001433777:',
 b'$ LLC:0001427189:',
 b'$AVY, INC.:0001655250:',
 b'& S MEDIA GROUP LLC:0001447162:',
 b'&TV COMMUNICATIONS INC.:0001479357:',
 b'&VEST DOMESTIC FUND II KPIV, L.P.:0001802417:',
 b'&VEST DOMESTIC FUND II LP:0001800903:']

Answer 2

这是不允许的 - 所以你得到 response_code = 403。 在抓取任何网页时检查 robots.txt 文件是一种很好的做法。 robots.txt 文件告诉搜索引擎爬虫，爬虫可以访问您网站上的哪些 URL。这主要用于避免请求使您的站点超载；但它不是一种将网页排除在 Google 之外的机制。

在你的情况下是https://www.sec.gov/robots.txt