网页抓取 URL 问题

Question

我正在尝试收集与美国农作物农场和年收入 5,000,000 美元或更高的每项业务相关的信息。问题是，当我更改搜索参数中的选项时，它不会更改 URL...所以我不确定如何进行这样的项目...任何帮助将不胜感激！

这是我要抓取的网站：http://listings.findthecompany.com/d/a/Crop-Farms

Answer 1

如果你抓到网络，你可以看到点击搜索时网页在打电话。

http://listings.findthecompany.com/ajax_search?_len=20&page=0&app_id=1662&_sortfld=sales_volume_us&_sortdir=DESC&_fil%5B0%5D%5Bfield%5D=sic_1_4digit&_fil%5B0%5D%5Boperator%5D=%3D&_fil%5B0%5D%5Bvalue%5D=0191&_fil%5B1%5D%5Bfield%5D=_sphinx_universal_search&_fil%5B1%5D%5Boperator%5D=LIKE&_fil%5B1%5D%5Bvalue%5D=Apple&_fil%5B1%5D%5Bignore%5D=false&_tpl=srp&head%5B%5D=company_name&head%5B%5D=_GC_address&head%5B%5D=total_employees&head%5B%5D=employees_here&head%5B%5D=sales_volume_us&head%5B%5D=year_started&head%5B%5D=citystate&head%5B%5D=localeze_classification&head%5B%5D=id&head%5B%5D=_encoded_title&dir_field_1=207944

您实际上可以检查不同的参数并获取所需的所有数据。 我使用“Apple”作为搜索词，它作为参数传递。