刮掉这种类型的网站架构可能吗？答案

【问题标题】：Scraping this type of site architecture possible?刮掉这种类型的网站架构可能吗？
【发布时间】：2017-02-26 20:56:15
【问题描述】：

我正在尝试为客户构建一个 Web 应用程序。它在这个站点上实现了一个简单的远程搜索：

https://www.handelsregister.de/rp_web/mask.do?Typ=n

我需要做的就是在标记为Company or keywords 的输入字段中插入一些值，执行搜索并获取 HTTP 响应。

问题是我不熟悉这种架构；我一直在使用有 URL 等的 API，是否可以通过编程自动执行上述操作？

【问题讨论】：

标签： web-scraping xmlhttprequest httprequest httpresponse

【解决方案1】：

大概吧。您可以发送 POST 请求并解析响应。这是 Python 中的一个基本示例，带有 requests 模块：

import requests 

query = "test"

post_fields = {'suchTyp':'n',
        'registerArt':'',
        'registerNummer':'',
        'registergericht':'',
        'schlagwoerter':query,
        'schlagwortOptionen':2,
        'ergebnisseProSeite':100,
        'btnSuche':'Rechercher'}

response = requests.post("https://www.handelsregister.de/rp_web/search.do", data=post_fields)
print(response.status_code)
print(response.text)

【讨论】：

哇，到目前为止，谢谢。这真的有效并给出了 html 响应吗？你测试了吗？
@AlexanderDeBeur 当然，我不会在未经测试的情况下发布任何脚本。但这仅仅是开始。它只会返回结果第一页的 HTML 代码。然后，您需要解析此 HTML 以获得格式化的表格。
当然，再次感谢。由于其他（讨厌的）项目，我有一些解析 html 的经验，所以现在我知道至少这是可能的。