如何设置 Curl 连接 Gnip 流式传输？

【问题标题】：How to set Curl connection Gnip streaming?如何设置 Curl 连接 Gnip 流式传输？
【发布时间】：2017-10-25 07:07:50
【问题描述】：

我正在尝试为 Gnip Streaming 设置 Curl 连接。我的目标是以文本形式下载所有传入数据，然后将其上传到数据库中。但是 curl 请求在一段时间后被丢弃。有什么方法可以设置流数据的流程。

curl --compressed -v -u <login>:<password> "https://gnip-stream.twitter.com/stream/sample10/accounts/UpSwell/publishers/twitter/prod.json?partition=1" --connect-time 900 -o output.txt

一段时间后，我正在“关闭连接”。

【问题讨论】：

标签： python curl twitter gnip

【解决方案1】：

看起来你的 curl 命令没问题，但问题是你没有跟上流的音量。这会导致服务器端的数据缓冲区完全填满，从而触发与服务器的“强制断开连接”。

基本建议是确保您有足够的带宽来传输该数据量。这些强制断开连接通常是由客户端应用程序中的处理瓶颈引起的。但是，您正在使用 curl，它非常高效......通常建议使用 curl 将客户端应用程序排除在循环之外并测试底层带宽......

您似乎正在试用 decahose 产品...与客户经理联系以讨论接下来的步骤。

谢谢！

【讨论】：