更复杂的 python 发布请求（网络抓取）答案

【问题标题】：more sopisticated python post request (web scraping)更复杂的 python 发布请求（网络抓取）
【发布时间】：2015-10-25 18:45:41
【问题描述】：

我正在尝试从波兰天然气系统运营商网站获取一些数据。

这是一个网站：http://en.gaz-system.pl/customer-zone/transmission/ 然后链接到“提名” 主持人是：https://swi.gaz-system.pl/swi/public/embed.seam 然后我更改 Data (From) 并单击 Filter 按钮

我想使用 Python 和请求模块。

我的简单代码：

    import requests
    swi_url = 'https://swi.gaz-system.pl/swi/public/embed.seam?viewId=E_PUB_043NN&lang=en'

    payload = {
    "embedsubview:subview_nomination_list_id:form_nomination_table_list_id":"embedsubview:subview_nomination_list_id:form_nomination_table_list_id",
    "embedsubview:subview_nomination_list_id:form_nomination_table_list_id:j_id17":"Filtruj",
    "embedsubview:subview_nomination_list_id:form_nomination_table_list_id:nominationTable:dayFromField:dayFromInputDate":"2015-01-01",
    "embedsubview:subview_nomination_list_id:form_nomination_table_list_id:nominationTable:dayToField:dayToInputDate":"2015-10-20",
     }

    r = requests.post(swi_url, data=payload)
    a = r.text
    print(a)

响应不是我所期望的，因为它返回的是今天日期的数据

有什么需要改进的地方？

【问题讨论】：

标签： python python-3.x web-scraping python-requests

【解决方案1】：

该页面 HTML 不是来自原始 PHP 或 HTML 文档，但它似乎是从 javascript 脚本动态生成的。您需要使用 selenium、Phantom JS 或 Casper JS 来抓取它。

【讨论】：

感谢您的建议。我会试试这些软件。