将数据库中的 URL 均匀分布在多个服务器上

Question

目标：循环访问 160,000 个 URL（来自数据库）并点击 4 个不同的 API 并将结果存储到数据库中。

I tried to solving the problem with multiprocessing 但事实证明存在 API 速率限制（600 秒内最多 600 个请求）阻止我在同一服务器上生成多个进程。

所以，看起来我将不得不启动多个服务器，运行脚本（修改为从数据库服务器中提取 URL），然后将结果保存回数据库服务器。

问题：

• 如何防止多个服务器使用同一个 URL？
• 您还有其他建议/指导吗？

详情/要求：

• Postgres 数据库
• 带数据库的服务器只有 512MB 内存（如果需要可以增加）
• 我希望作业的总运行时间少于 2 小时

这是当前格式的 Python 脚本：

import psycopg2
from socialanalytics import pinterest
from socialanalytics import facebook
from socialanalytics import twitter
from socialanalytics import google_plus
from time import strftime, sleep

conn = psycopg2.connect("dbname='***' user='***' host='***' password='***'")
cur = conn.cursor()

# Select all URLs
cur.execute("SELECT * FROM urls;")
urls = cur.fetchall()

for url in urls:

    # Pinterest
    try:
        p = pinterest.getPins(url[2])
    except:
        p = { 'pin_count': 0 }
    # Facebook
    try:
        f = facebook.getObject(url[2])
    except:
        f = { 'comment_count': 0, 'like_count': 0, 'share_count': 0 }
    # Twitter
    try:
        t = twitter.getShares(url[2])
    except:
        t = { 'share_count': 0 }
    # Google
    try:
        g = google_plus.getPlusOnes(url[2])
    except:
        g = { 'plus_count': 0 }

    # Save results
    try:
        now = strftime("%Y-%m-%d %H:%M:%S")
        cur.execute("INSERT INTO social_stats (fetched_at, pinterest_pins, facebook_likes, facebook_shares, facebook_comments, twitter_shares, google_plus_ones) VALUES(%s, %s, %s, %s, %s, %s, %s, %s);", (now, p['pin_count'], f['like_count'], f['share_count'], f['comment_count'], t['share_count'], g['plus_count']))
        conn.commit()
    except:
        conn.rollback()

这是我目前正在考虑的解决问题的方法：

1. 使用数据库在服务器上创建 API
   • 在您对/api/v1/next-url 执行GET 时返回一个URL
   • 接受对/api/v1/store-results的POST请求
2. 手动启动约 25 台服务器
3. 创建脚本，通过我的 API 获取 URL，点击 4 个外部 API，然后通过我的 API 将数据发送回我的数据库。当没有通过第一个 API 端点返回 URL 时，脚本终止。
4. 手动关闭服务器

非常感谢任何帮助！

Answer 1

如何防止多个服务器使用同一个 URL？

一种简单的方法是获取 URL 模服务器计数的哈希值。这为您提供了应该处理该 URL 的服务器的索引。

例如：

server_idx = zlib.crc32(url) % server_count