【发布时间】：2016-04-18 05:32:52
【问题描述】：
我正在尝试从 IMDB 网站抓取特定电影评论的评论。为此，我使用了嵌入在循环中的爬网，因为有 74 页。
附上配置图片。请帮忙。我被困在这里面了。
抓取网页的网址是：http://www.imdb.com/title/tt0454876/reviews?start=%{pagePos}
【问题讨论】：
标签： web web-crawler rapidminer mining
【发布时间】：2016-04-18 05:32:52
【问题描述】：
当我尝试它时，我收到了403 forbidden 错误，因为 IMDB 服务认为我是机器人。将Loop 与Crawl Web 一起使用是不好的做法，因为Loop 运算符没有实现任何等待。
这个过程可以简化为Crawl Web 运算符。关键参数是：
- URL - 设置为http://www.imdb.com/title/tt0454876
- 最大页数 - 将此设置为 79 或您需要的任何数字
- 最大页面大小 - 设置为 1000
- 抓取规则 - 将这些设置为您指定的规则
- 输出目录 - 选择一个文件夹来存储东西
之所以有效，是因为抓取操作员会计算出所有可能与规则匹配的 URL，并将存储那些也匹配的 URL。访问将延迟 1000 毫秒（延迟参数），以避免在服务器触发机器人排除。
希望这能让你开始。
【讨论】：
-
我已经将宏初始化为值 0 并在每次迭代中添加 10，因为用于评论的网页是 imdb.com/title/tt0454876/reviews?start=0 imdb.com/title/tt0454876/reviews?start=10 imdb.com/title/tt0454876/reviews?start=20 等等。这就是为什么我在每个循环中使用 10 个增量来获取所有评论。你能指导我如何解决我的执行顺序吗？？
-
另外，我已将上下文选项卡中的宏初始化为宏名称“pagePos”，值为“0”。你能告诉我循环内的执行顺序应该是什么？？？另外应该是什么爬行规则，因为我只需要获取评论？我只是 Rapidminer 的初学者，所以请帮助我。
-
当前进程报403错误。原因很可能是在直接访问 URL 的紧密循环中错误地使用了
Crawl Web。可以简化该过程以完全避免使用Loop运算符。我已经更新了我的答案。