【问题标题】:The speed of scraping tweet on a remote server depends on what?在远程服务器上抓取推文的速度取决于什么?
【发布时间】:2020-09-03 14:48:02
【问题描述】:

我正在开发我的第一个 webapp 项目,我计划使用远程服务器发布该项目。我有一个关于架构的问题。

我的 webapp 是使用 twitterscraper Python 包来抓取推文。访问该网站的用户输入一些关键字并单击“抓取”按钮。 Python 后端会抓取包含关键字的推文,进行一些自然语言处理分析,并在图表中可视化结果。这个twitterscraper 包允许您使用Beautiful Soup 抓取推文,因此您不需要创建API 凭据。抓取速度取决于您使用的互联网带宽。

我制作了一个 Python 脚本、JavaScript 文件、html 文件和 css 文件。在我的本地环境中,webapp 运行良好。

所以问题是,当我将这些文件放在托管服务器上并发布 webapp 后,当用户单击“抓取”按钮时,抓取速度取决于什么?用户正在使用的互联网带宽?还是服务器依赖的“带宽”?

正如我所说,我对这种架构非常陌生。因此,向我推荐一种构建这种 webapp 的替代方法也很好。谢谢!

【问题讨论】:

  • 你与远程服务器交换什么数据?我想你发送某种 HTTP 请求,服务器用一些数据响应,但是响应有多大?
  • 对不起,我不确定你到底问了什么,但你能告诉我“响应大小”的定义吗?如果它是关于推文数据的大小,一旦你点击“抓取”按钮,webapp 将抓取 2000-5000 条推文。但是给用户展示的是一个图表,它是对收集到的推文进行分析的结果。
  • 我所说的“大小”是指以千字节为单位的数据长度或任何最适合的单位。此外,我对将从服务器传输到客户端的数据更感兴趣。
  • 好的,所以抓取的推文大小为 0.2-0.3MB。它将经过一些数据转换、准备和丰富,最终进行可视化的数据约为 0.8MB,这将是从服务器传输到客户端的数据大小。
  • 在这种情况下,网络应该不是什么大问题,你的瓶颈(如果有的话)可能是服务器端的

标签: javascript python twitter web-applications


【解决方案1】:

瓶颈在哪里取决于一堆不同的变量。

如果您正在执行大量数据操作,但您没有为程序分配大量 CPU 时间(即您的处理器无法处理的用户过多),它可能会减慢速度。

如果您没有足够的内存,并且您尝试解析并返回大量数据,那么它可能会减慢速度。

因为您也在与 Twitter 交谈,所以无论您的服务器和 twitter 服务器之间的带宽限制如何,都会影响您从其 API 检索结果的速度,以及您的程序响应用户。

你和用户之间也有联系。如果速度很慢,可能会影响您的程序。

【讨论】:

    猜你喜欢
    • 2013-02-27
    • 2020-07-09
    • 2018-02-02
    • 2018-09-01
    • 1970-01-01
    • 2013-05-03
    • 1970-01-01
    • 2013-02-09
    • 1970-01-01
    相关资源
    最近更新 更多