【问题标题】:Sending a request with a random string does not work发送带有随机字符串的请求不起作用
【发布时间】:2021-06-18 18:03:20
【问题描述】:

我正在尝试向站点发送获取请求。 这完美无缺,但现在我想在请求 URL 之后添加一个随机字符串。但不幸的是,这似乎不起作用。 我认为这是因为 option 参数不能访问除 idk 之外的任何其他内容,如果有人能调查一下并帮助我,我将不胜感激。

    ....
    const chalk = require("chalk")
    require('console-stamp')(console, { 
    format: ':date(yyyy/mm/dd HH:MM:ss.l)' 
    } );
    var randomstring = require("randomstring");
    let rndmstring = randomstring.generate({
    length: 12,
    charset: 'alphabetic'
    });

const options = {
    url: 'https://www.requesturl?search=housenumbers&'+ rndmstring,
    method: "GET",
    gzip: true,
    proxy: reformatProxy(proxies2[randomproxy]),
    headers: {
        "method": "GET",
        "scheme": "https",
        "accept": "*/*",
        "accept-encoding": "gzip, deflate, br",
        "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
        "cookie": "_ga=GA1.2.984479855.1612702925; _gid=GA1.2.658293268.1613141568; _gat_UA-168024539-1=1",
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36",
        "sec-fetch-dest": "empty",
        "sec-fetch-mode": "cors",
        "Cache-Control": "no-cache",
        "sec-fetch-site": "same-origin",
        "x-requested-with": "XMLHttpRequest"
    }
};

...

setInterval(() => {
    request(options, callback)
}, delay)

【问题讨论】:

    标签: javascript node.js web-scraping request


    【解决方案1】:

    这只是为了杀死任何缓存吗?如果是这样,使用日期戳会容易得多,并且不需要额外的库

    url: 'https://www.requesturl?search=housenumbers&ck='+ new Date().getTime(),
    

    【讨论】:

    • 是的,它只是为了杀死缓存。问题是它不适用于随机字符串库。这会解决它吗?
    【解决方案2】:

    您还可以将 uuid 附加到 urls

    import { v1 } from 'uuid';
    
    let url=`https://www.requesturl?search=housenumbers&ck=${v1()}`
    

    使用 require 语句

    const uuid =require('uuid').v1
    let url=`https://www.requesturl?search=housenumbers&ck=${uuid()}`
    console.log(url) // https://www.requesturl?search=housenumbers&ck=6f56a3d0-d067-11eb-9259-bb2ebfa7bd2e
    

    【讨论】:

      猜你喜欢
      • 2021-02-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-10-05
      • 1970-01-01
      • 1970-01-01
      • 2016-03-28
      • 2015-06-06
      相关资源
      最近更新 更多