部署到 Scapinghub 后如何让 Scrapy 访问 Tor

Question

我已经将蜘蛛配置为使用 setup Privoxy 访问 Tor，但这仅在我在 localhost 中使用时才有效，因为我配置的设置指向 127.0.0.1: 端口。但是当我部署到 Scapinghub 时，服务器端不会像我一样设置 tor 和 privoxy。这是我可以用来让蜘蛛通过我的网络和端口通过我的机器的任何解决方案吗？

据我所知，如果在同一个网络上，我们可以使用内部 IP。我可以将公共 IP 替换为 127.0.0.1 但我想知道网络如何转发到哪台机器。

下面是访问tor的配置：

中间件.py

class ProxyMiddleware(object):
    @classmethod
    def process_request(self, request, spider):
        request.meta['proxy'] = "http://127.0.0.1:8118"

setting.py

DOWNLOADER_MIDDLEWARES = {
    'tutorial.middlewares.ProxyMiddleware': 1
}

Answer 1

您可以部署一个自定义的 docker 镜像，上面设置了 tor。 然后指向 127.0.0.1。 https://shub.readthedocs.io/en/stable/deploy-custom-image.html#deploy-custom-image