【问题标题】:idea/direction to build a crawler package for meteor为流星构建爬虫包的想法/方向
【发布时间】:2014-06-19 02:46:48
【问题描述】:

我正在考虑构建一个包,使构建节点爬虫变得容易。在使用 webpack 和 webdriverjs 等工具之前,我已经构建了爬虫,并且每次设置机器人和服务器之间来回的所有路由和通信都非常痛苦。

Meteor 的方式看起来更甜:没有显式路由,客户端可以调用函数,它就可以工作。所以我打算构建一个帮助程序包,你可以依赖它来构建你自己的爬虫包,你只包含一个 bot.js 文件,在其中你发出事件并在你完成时终止机器人:

var contents=$('.content-to-scrape').html() //getting some contents
Crawler.emit('contents', contents);
Crawler.terminate();

而在服务器端你只需要像这样调用它:

Crawler.start('http://somesite.com');
Crawler.on('contents', callback1);
Crawler.on('terminate', callback2);

我在思考如何构建包以服务于浏览器机器人时遇到了麻烦。 Meteor 构建系统似乎只为客户端和服务器构建,而且看起来相当复杂。所以我决定使用 webpack 打包一个捆绑包以提供给浏览器机器人。而且我想我可以使用WebApp.connectHandlers 来添加我需要的任何路由。不过我想知道的是,将使用 webpack 创建的捆绑文件放在哪里,以便我可以使用连接处理程序提供它。

告诉我这对 Meteor 是否可行,或者我是否朝着正确的方向前进?

【问题讨论】:

  • 为什么投反对票?需要解释一下吗?
  • 我不是反对你的人,但我发现很难看出你的实际问题是什么?为了理解你的实际问题是什么,似乎需要遵循很多漫无边际的问题(除了“正确方向”的问题,这个问题有点清楚,尽管可能有点基于意见)。
  • @Christian:也许你是对的。这个问题的理想答案可能有点基于意见,而不是一个明确的答案。这不适合问这样的问题吗?
  • 应该有地方问这种问题,但是……很难。 discuss.area51.stackexchange.com/questions/11338/…

标签: meteor


【解决方案1】:

根据我的说法,您应该首先查看 github 上已经构建的 Meteor 包。

这些是一些著名的,它们会让您深入了解您打算做什么:

那么,你应该遵循这个指南https://atmospherejs.com/docs/publishing

【讨论】:

    猜你喜欢
    • 2014-02-17
    • 1970-01-01
    • 1970-01-01
    • 2017-04-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2012-02-20
    相关资源
    最近更新 更多