【问题标题】:Finding all the dates / events for multiple webpages查找多个网页的所有日期/事件
【发布时间】:2021-09-24 17:56:15
【问题描述】:

我是 python / web 抓取的超级新手,我正在尝试使用 beautifulsoup 来查找各种网页中列出的所有事件(日期),然后将它们输出到 CSV 文件。

这些是我一直在尝试的网页。

https://ir.monday.com/news-and-events/events

https://investor.okta.com/events

https://investors.atlassian.com/events-and-presentations/default.aspx

任何帮助将不胜感激!

【问题讨论】:

    标签: python screen-scraping dateparser


    【解决方案1】:

    Webscraping 通常是找到正确的 ids/class 名称的组合,您可以使用它们来过滤掉您需要的数据。

    如果是investor.okta.com/events 网站页面。

    nir-widget--field nir-widget--event--date
    

    是列表中日期的类名。 例如,您必须找到这些标识符并搜索您使用 beautifulsoup 收集的页面。

    收集您需要的所有数据后,您可以将数据存储在列表/字典或panda 数据帧中。

    然后您可以使用 csv 包或 pandas 函数将结果导出为 csv 或其他文件格式。

    为了了解更多关于实用性的信息,请查看有关网页抓取和 csv 导出的在线教程,以了解如何设置您的开发环境以及如何使用 git。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-05-15
      • 1970-01-01
      • 1970-01-01
      • 2013-11-10
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多