【问题标题】:Scraping data from a website that limits views从限制视图的网站中抓取数据
【发布时间】:2018-01-05 15:02:57
【问题描述】:

所以最近我一直在从事我的一个充满激情的项目,该项目需要数以千计的古代拉丁文本及其各自的翻译。

我找到了this website,它免费提供给他们。唯一的问题是,如果我加载一个translation,它会显示“Oggi hai visualizzato 1 brani.Ti ricordiamo che hai ancora a disposizione la visualizzazione di 4 brani”,这意味着我可视化了我被允许的 4 个文本中的 1 个一天后见。

我最好的选择是什么?我真的很想得到这些数据,但由于我不会从中赚钱,所以我没有理由向知道那里做什么的人支付 400 美元......

任何帮助将不胜感激, 谢谢

【问题讨论】:

  • 如果不违反他们的服务条款,您是否尝试过使用代理?

标签: python networking web-scraping ip


【解决方案1】:

您可以尝试使用 TorBrowser https://www.torproject.org/projects/torbrowser.html.en,它可以在您“重新建立”连接时更改 IP(单击 url 行旁边的洋葱)。

【讨论】:

  • 不幸的是,Tor 没有提供足够数量的轮换 IP 来完成任务。
猜你喜欢
  • 2017-10-20
  • 1970-01-01
  • 2014-07-06
  • 1970-01-01
  • 2018-07-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多