【发布时间】:2020-09-03 14:48:02
【问题描述】:
我正在开发我的第一个 webapp 项目,我计划使用远程服务器发布该项目。我有一个关于架构的问题。
我的 webapp 是使用 twitterscraper Python 包来抓取推文。访问该网站的用户输入一些关键字并单击“抓取”按钮。 Python 后端会抓取包含关键字的推文,进行一些自然语言处理分析,并在图表中可视化结果。这个twitterscraper 包允许您使用Beautiful Soup 抓取推文,因此您不需要创建API 凭据。抓取速度取决于您使用的互联网带宽。
我制作了一个 Python 脚本、JavaScript 文件、html 文件和 css 文件。在我的本地环境中,webapp 运行良好。
所以问题是,当我将这些文件放在托管服务器上并发布 webapp 后,当用户单击“抓取”按钮时,抓取速度取决于什么?用户正在使用的互联网带宽?还是服务器依赖的“带宽”?
正如我所说,我对这种架构非常陌生。因此,向我推荐一种构建这种 webapp 的替代方法也很好。谢谢!
【问题讨论】:
-
你与远程服务器交换什么数据?我想你发送某种 HTTP 请求,服务器用一些数据响应,但是响应有多大?
-
对不起,我不确定你到底问了什么,但你能告诉我“响应大小”的定义吗?如果它是关于推文数据的大小,一旦你点击“抓取”按钮,webapp 将抓取 2000-5000 条推文。但是给用户展示的是一个图表,它是对收集到的推文进行分析的结果。
-
我所说的“大小”是指以千字节为单位的数据长度或任何最适合的单位。此外,我对将从服务器传输到客户端的数据更感兴趣。
-
好的,所以抓取的推文大小为 0.2-0.3MB。它将经过一些数据转换、准备和丰富,最终进行可视化的数据约为 0.8MB,这将是从服务器传输到客户端的数据大小。
-
在这种情况下,网络应该不是什么大问题,你的瓶颈(如果有的话)可能是服务器端的
标签: javascript python twitter web-applications