Libcurl 回调函数可能不适用于 Twitter 流 [重复]

Question

可能重复：
Using HTTP authentication with libcurl in C for Twitter Streaming

我能够编写一个从流 API 接收推文流的 C 代码。但是下面的代码没有输出流（没有输出）。当 CURLOPT_URL 设置为 google.com 或 9gag.com 时，该代码有效。我猜这个问题与接收到大量数据的稳定推文流有关。用于打印响应（流）的 write_func 回调函数可能不起作用，这就是为什么没有输出？ 我认为回调函数可能被Twitter API发送的巨大流所淹没。那么如果是这种情况，我应该如何编写正确的写回调函数？

你可能会问。我验证了流的接收工作正常，因为每当我执行代码时，我都会看到系统监视器的网络历史记录会随着接收到的字节数上升。

谢谢！

代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <curl/curl.h>

struct string {
  char *ptr;
  size_t len;
};

void init_string(struct string *s) {
  s->len = 0;
  s->ptr = malloc(s->len+1);
  if (s->ptr == NULL) {
    fprintf(stderr, "malloc() failed\n");
    exit(EXIT_FAILURE);
  }
  s->ptr[0] = '\0';
}

size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s)
{
  size_t new_len = s->len + size*nmemb;

  s->ptr = realloc(s->ptr, new_len+1);
  if (s->ptr == NULL) {

    fprintf(stderr, "realloc() failed\n");
    exit(EXIT_FAILURE);
  }
  memcpy(s->ptr+s->len, ptr, size*nmemb);
  s->ptr[new_len] = '\0';
  s->len = new_len;

  return size*nmemb;
}

int main(void)
{
  CURL *curl;
  CURLcode res;

  curl = curl_easy_init();
  if(curl) {
    struct string s;
    init_string(&s);

    curl_easy_setopt(curl, CURLOPT_URL, "https://stream.twitter.com/1/statuses/sample.json");
    curl_easy_setopt(curl, CURLOPT_USERPWD, "neilmarion:password_here");
    curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writefunc);
    curl_easy_setopt(curl, CURLOPT_WRITEDATA, &s); 
    res = curl_easy_perform(curl);

    printf("%s\n", s.ptr);
    free(s.ptr);

    /* always cleanup */
    curl_easy_cleanup(curl);
  }
  return 0;
}

Answer 1

好的，我做了一些测试，似乎 URL 只是不断发送数据，它似乎没有完成。我在 15M 后将其杀死。但是，如果您将打印语句放在回调中或使用strace，您可以看到它正常工作。您的字符串s 不断增长。

因此，一种解决方案是将您的回调更改为打印并在达到一定大小后重新初始化s。否则看起来程序最终会耗尽内存。所以把你的回调改成

size_t max_buffer = 10240;  // 10K
size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s)
{
  size_t new_len = s->len + size*nmemb;

  s->ptr = realloc(s->ptr, new_len+1);
  if (s->ptr == NULL) {
    fprintf(stderr, "realloc() failed\n");
    exit(EXIT_FAILURE);
  }
  memcpy(s->ptr+s->len, ptr, size*nmemb);
  s->ptr[new_len] = '\0';
  s->len = new_len;
  // Begin newly added code
  if( s->len >= max_buffer )
  {
    printf("%s", s->ptr);
    fflush( stdout );
    free(s->ptr);
    initString( s );
  }
  // End newly added code
  return size*nmemb;
}

并且仍然保留最后的打印。转储最后一位和尾随换行符。现在您有了一个缓冲解决方案，您可以查看一个更高效的实现，它不需要动态添加内存。