无法从网页中抓取所有公司名称

Question

我正在尝试解析此 webpage 中的所有公司名称。那里有大约2431 公司。但是，我在下面尝试的方式可以让我获得1000 结果。

这是我在使用开发工具时看到的响应结果数量：

hitsPerPage: 1000
index: "YCCompany_production"
nbHits: 2431      <------------------------       
nbPages: 1
page: 0

如何使用请求获得其余结果？

到目前为止我已经尝试过：

import requests

url = 'https://45bwzj1sgc-dsn.algolia.net/1/indexes/*/queries?'

params = {
    'x-algolia-agent': 'Algolia for JavaScript (3.35.1); Browser; JS Helper (3.1.0)',
    'x-algolia-application-id': '45BWZJ1SGC',
    'x-algolia-api-key': 'NDYzYmNmMTRjYzU4MDE0ZWY0MTVmMTNiYzcwYzMyODFlMjQxMWI5YmZkMjEwMDAxMzE0OTZhZGZkNDNkYWZjMHJlc3RyaWN0SW5kaWNlcz0lNUIlMjJZQ0NvbXBhbnlfcHJvZHVjdGlvbiUyMiU1RCZ0YWdGaWx0ZXJzPSU1QiUyMiUyMiU1RCZhbmFseXRpY3NUYWdzPSU1QiUyMnljZGMlMjIlNUQ='
}
payload = {"requests":[{"indexName":"YCCompany_production","params":"hitsPerPage=1000&query=&page=0&facets=%5B%22top100%22%2C%22isHiring%22%2C%22nonprofit%22%2C%22batch%22%2C%22industries%22%2C%22subindustry%22%2C%22status%22%2C%22regions%22%5D&tagFilters="}]}

with requests.Session() as s:
    s.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    r = s.post(url,params=params,json=payload)
    print(len(r.json()['results'][0]['hits']))

Answer 1

作为一种解决方法，您可以使用字母作为搜索模式来模拟搜索。使用下面的代码，您将获得所有 2431 家公司作为字典，其中 ID 作为键，完整的公司数据字典作为值。

import requests
import string

params = {
    'x-algolia-agent': 'Algolia for JavaScript (3.35.1); Browser; JS Helper (3.1.0)',
    'x-algolia-application-id': '45BWZJ1SGC',
    'x-algolia-api-key': 'NDYzYmNmMTRjYzU4MDE0ZWY0MTVmMTNiYzcwYzMyODFlMjQxMWI5YmZkMjEwMDAxMzE0OTZhZGZkNDNkYWZjMHJl'
                         'c3RyaWN0SW5kaWNlcz0lNUIlMjJZQ0NvbXBhbnlfcHJvZHVjdGlvbiUyMiU1RCZ0YWdGaWx0ZXJzPSU1QiUyMiUy'
                         'MiU1RCZhbmFseXRpY3NUYWdzPSU1QiUyMnljZGMlMjIlNUQ='
}

url = 'https://45bwzj1sgc-dsn.algolia.net/1/indexes/*/queries'
result = dict()
for letter in string.ascii_lowercase:
    print(letter)

    payload = {
        "requests": [{
            "indexName": "YCCompany_production",
            "params": "hitsPerPage=1000&query=" + letter + "&page=0&facets=%5B%22top100%22%2C%22isHiring%22%2C%22nonprofit%22%2C%22batch%22%2C%22industries%22%2C%22subindustry%22%2C%22status%22%2C%22regions%22%5D&tagFilters="
        }]
    }

    r = requests.post(url, params=params, json=payload)
    result.update({h['id']: h for h in r.json()['results'][0]['hits']})

print(len(result))

Answer 2

2021 年 1 月 4 日更新

查看 Algolia API documentation 中的“细则”后，我发现 paginationLimitedTo 参数不能在查询中使用。此参数只能在数据所有者索引期间使用。

看来你可以这样使用查询和偏移：

payload = {"requests":[{"indexName":"YCCompany_production",
                        "params": "query=&offset=1000&length=500&facets=%5B%22top100%22%2C%22isHiring%22%2C%22nonprofit"
                                 "%22%2C%22batch%22%2C%22industries%22%2C%22subindustry%22%2C%22status%22%2C%22regions%22%5D&tagFilters="}]}

很遗憾，客户设置的 paginationLimitedTo 索引不允许您通过 API 检索超过 1000 条记录。

"hits": [],
    "nbHits": 2432,
    "offset": 1000,
    "length": 500,
    "message": "you can only fetch the 1000 hits for this query. You can extend the number of hits returned via the paginationLimitedTo index parameter or use the browse method. You can read our FAQ for more details about browsing: https://www.algolia.com/doc/faq/index-configuration/how-can-i-retrieve-all-the-records-in-my-index",

提到的浏览绕过方法需要 ApplicationID 和 AdminAPIKey

---

原帖

基于 Algolia API documentation，查询命中限制为 1000。

文档列出了几种覆盖或绕过此限制的方法。

API 的一部分是 paginationLimitedTo，默认情况下设置为 1000 以实现性能和“抓取保护”。

语法是：

'paginationLimitedTo': number_of_records

文档中提到的另一个method是设置参数offset和length。

offset 让您指定起始命中（或记录）

长度设置返回的记录数

您可以使用这些参数来遍历记录，因此可能不会影响您的抓取性能。

例如，您可以以 500 个为单位进行刮削。

• 记录 1-500（偏移量=0，长度=500）
• 记录 501-1001（偏移量=500，长度=500）
• 记录 1002-1502（偏移量=1001，长度=500）
• 等等……

或

• 记录 1-500（偏移量=0，长度=500）
• 记录 500-1000（偏移量=499，长度=500）
• 记录 1000-1500（偏移量=999，长度=500）
• 等等……

后一种会产生一些重复，当将它们添加到内存存储（列表、字典、数据框）时可以很容易地删除它们。

----------------------------------------
My system information
----------------------------------------
Platform:    macOS
Python:      3.8.0
Requests:    2.25.1
----------------------------------------

Answer 3

看起来您需要像这样设置param 来覆盖默认值。与

   index.set_settings

  'paginationLimitedTo': number_of_records

Pyhton 的使用示例。

 index.set_settings({'customRanking': ['desc(followers)']})

更多信息：- https://www.algolia.com/doc/api-reference/api-methods/set-settings/#examples

Answer 4

尝试在负载中使用显式 limit 值来覆盖 API 默认值。例如，将limit=2500 插入到您的请求字符串中。