我想用 C/C++ 编写一个程序，该程序将动态读取网页并从中提取信息。例如，假设您想编写一个应用程序来跟踪和记录 ebay 拍卖。有没有简单的方法来抓取网页？提供此功能的库？是否有一种简单的方法来解析页面以获取特定数据？
【问题讨论】：
看看cURL library：
#include <stdio.h>
#include <curl/curl.h>
int main(void)
{
CURL *curl;
CURLcode res;
curl = curl_easy_init();
if(curl) {
curl_easy_setopt(curl, CURLOPT_URL, "curl.haxx.se");
res = curl_easy_perform(curl);
/* always cleanup */
curl_easy_cleanup(curl);
}
return 0;
}
顺便说一句，如果不严格要求 C++。我鼓励您尝试 C# 或 Java。它更容易，并且有一个内置的方法。
【讨论】：
Windows 代码：
#include <winsock2.h>
#include <windows.h>
#include <iostream>
#pragma comment(lib,"ws2_32.lib")
using namespace std;
int main (){
WSADATA wsaData;
if (WSAStartup(MAKEWORD(2,2), &wsaData) != 0) {
cout << "WSAStartup failed.\n";
system("pause");
return 1;
}
SOCKET Socket=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);
struct hostent *host;
host = gethostbyname("www.google.com");
SOCKADDR_IN SockAddr;
SockAddr.sin_port=htons(80);
SockAddr.sin_family=AF_INET;
SockAddr.sin_addr.s_addr = *((unsigned long*)host->h_addr);
cout << "Connecting...\n";
if(connect(Socket,(SOCKADDR*)(&SockAddr),sizeof(SockAddr)) != 0){
cout << "Could not connect";
system("pause");
return 1;
}
cout << "Connected.\n";
send(Socket,"GET / HTTP/1.1\r\nHost: www.google.com\r\nConnection: close\r\n\r\n", strlen("GET / HTTP/1.1\r\nHost: www.google.com\r\nConnection: close\r\n\r\n"),0);
char buffer[10000];
int nDataLength;
while ((nDataLength = recv(Socket,buffer,10000,0)) > 0){
int i = 0;
while (buffer[i] >= 32 || buffer[i] == '\n' || buffer[i] == '\r') {
cout << buffer[i];
i += 1;
}
}
closesocket(Socket);
WSACleanup();
system("pause");
return 0;
}
【讨论】：
gethostbyname()。它应该使用getaddrinfo() 并支持 IPv4 和 IPv6。
printf("%.*s", nDataLength, buffer);，这样更简单、更快、更安全。
有一个免费的 TCP/IP 库可用于支持 HTTP 和 HTTPS 的 Windows - 使用它非常简单。
CUT_HTTPClient http;
http.GET("http://folder/file.htm", "c:/tmp/process_me.htm");
您还可以获取文件并将它们存储在内存缓冲区中（通过CUT_DataSource 派生类）。所有常见的 HTTP 支持都在那里 - PUT、HEAD 等。对代理服务器的支持轻而易举，安全套接字也是如此。
【讨论】：
您可以通过套接字编程来做到这一点，但是实现可靠地获取页面所需的协议部分是很棘手的。最好使用库，例如neon。这很可能安装在大多数 Linux 发行版中。在 FreeBSD 下使用 fetch 库。
为了解析数据，因为很多页面没有使用有效的 XML，你需要实现启发式，而不是真正的基于 yacc 的解析器。您可以使用正则表达式或状态转换机来实现这些。由于您尝试做的事情涉及大量的反复试验，因此您最好使用脚本语言，例如 Perl。由于网络延迟较高，您不会看到任何性能差异。
【讨论】：
你没有提到任何平台，所以我给你一个Win32的答案。
从 Internet 下载任何内容的一种简单方法是使用 URLDownloadToFile 并将 IBindStatusCallback 参数设置为 NULL。为了让函数更有用，需要实现回调接口。
【讨论】：
尝试使用 Qt 之类的库，它可以从网络中读取数据并从 xml 文档中获取数据。 This 是如何读取 xml 提要的示例。例如，您可以使用 ebay 提要。
【讨论】：
可以在Multiplatform QT库中完成：
QByteArray WebpageDownloader::downloadFromUrl(const std::string& url)
{
QNetworkAccessManager manager;
QNetworkReply *response = manager.get(QNetworkRequest(QUrl(url.c_str())));
QEventLoop event;
QObject::connect(response, &QNetworkReply::finished, &event, &QEventLoop::quit);
event.exec();
return response->readAll();
}
该数据可以是例如保存到文件，或转换为 std::string:
const string webpageText = downloadFromUrl(url).toStdString();
记住你需要添加
QT += network
到QT项目配置编译代码。
【讨论】：