Web 内容聚合的可扩展性答案

【问题标题】：Scalability of Web Content AggregationWeb 内容聚合的可扩展性
【发布时间】：2012-12-25 16:55:25
【问题描述】：

我正在尝试为我正在制作原型的工具开发一个简单的架构。基于 Web 的工具（基于 .NET）基本上会从多个公共 API 请求数据，整理和处理响应数据（JSON 或 XML）并将聚合数据保存在数据库中。这听起来很简单，但该工具需要每天至少为大约 3000 个用户运行此过程（请求/处理/存储）一次。作为计划任务（cron 作业）定期运行该进程会显着降低性能并增加服务器上的资源使用（单 VPS）。

所以问题是，什么样的架构或框架可以用来使这样的工具快速、可扩展、简单且易于实施。

感谢任何想法和想法。

干杯。

【问题讨论】：

标签： c# performance architecture scheduled-tasks scalability

【解决方案1】：

如果您在 cron 运行期间遇到资源消耗达到峰值的问题，那么不要让 cron 连续运行您的程序。破解程序使其可以连续运行的细节取决于细节。例如假设您有 3000 个用户；一种简单的方法是每 28 秒处理一个用户。

快 - 你没有提到你的程序到底是什么慢，你使用了什么算法等等。你的问题听起来像你遇到了峰值负载的问题。很多时候，快速程序会导致资源使用高峰。对我来说，听起来你会做得很好（故意）让你的程序变慢。 AND 慢并不意味着您设计程序的效率低下。

可扩展性 - 如果我们假设您的基本算法很好，那么实现可扩展性的一种方法是添加更多机器！！

【讨论】：