从 CBS 网站提取所有季节和剧集视频链接

Question

CBS 有电视剧《挑战》，每季有很多季和很多集。他们在 CBS 网站上：https://www.cbs.com/shows/the-challenge/

我想要一份所有视频链接的列表，例如这个（第 11 季的前 4 集）。

https://www.cbs.com/shows/the-challenge/video/C5NCzTv2qJp1GwhcV5KWxeKWN4p6_Mqt/the-challenge-throwing-down-the-gauntlet/
https://www.cbs.com/shows/the-challenge/video/kXdno68B36gd6s06OhdrUDUvAAYY4q_e/the-challenge-derrick-steps-it-up/
https://www.cbs.com/shows/the-challenge/video/RYA43Dqs2bRJsgAtcZIZhN8zVVQ1FIxf/the-challenge-we-can-work-it-out/
https://www.cbs.com/shows/the-challenge/video/lJvc_Lkns9Q2NYkDfmsNQmeajXP3QjRm/the-challenge-the-10-000-pyramid/

如何自动提取所有剧集的视频链接？我能够“查看页面源代码”，但它只显示了第 11 季的 12/18 集：（使用 chrome 打开）：view-source:https://www.cbs.com/shows/the-challenge/，搜索 https://www.cbs.com/shows/the-challenge/video，应该显示 12 个匹配项。

该页面在主页内“隐藏”剧集和季节，因此其他季节没有单独的 URL。我现在的解决方案是手动复制每个视频的链接地址...

Answer 1

此页面（部分）使用 javascript 动态加载。例如，第 13-18 集的链接就是这样加载的。

要捕获这些内容，您需要使用浏览器的“开发者”选项卡（这是一个漫长而复杂的故事；您可以开始阅读它here, for example).

获得该链接后，响应是一个 json，它被视为 python 字典，产生所需的输出。

所以大家一起来：

import requests
cookies = {
    'CBS_ADV_VAL': 'c',
    'CBS_ADV_SUBSES_VAL': '4',
    'ovvuid': '9f064779-4c06-49f1-9cdd-7e64e653145e',
    'OptanonConsent': 'isIABGlobal=false&datestamp=Wed+Sep+09+2020+15%3A44%3A13+GMT-0400+(Eastern+Daylight+Time)&version=6.5.0&hosts=&consentId=d1c945ba-78ea-46e6-ba6f-5329085e06d8&interactionCount=1&landingPath=https%3A%2F%2Fwww.cbs.com%2Fshows%2Fthe-challenge%2F&groups=1%3A1%2C2%3A1%2C3%3A1%2C4%3A1%2C5%3A1',
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0',
    'Accept': 'application/json, text/javascript, */*; q=0.01',
    'Accept-Language': 'en-US,en;q=0.5',
    'X-Requested-With': 'XMLHttpRequest',
    'Referer': 'https://www.cbs.com/shows/the-challenge/',
    'Connection': 'keep-alive',
    'Cache-Control': 'max-age=0',
    'TE': 'Trailers',
}

response = requests.get('https://www.cbs.com/shows/the-challenge/xhr/episodes/page/0/size/18/xs/0/season/11/', headers=headers, cookies=cookies)

links = response.json()
for entry in (links['result']['data']):  
    print(entry['url'])

输出：

/shows/the-challenge/video/IBWXQxtaPVmI40RnAACOc_zo0u13Ups1/the-challenge-blind-panic/
/shows/the-challenge/video/uFv8wFmvUFRKfiM29HVT3K_gGCZ4IWYS/the-challenge-last-men-standing/
/shows/the-challenge/video/9GP_ASLg9U_MmFvFmXPHO9liRzjdHhwI/the-challenge-don-t-bet-on-it/

等等，全部 18 集。然后，您可以将这些链接中的每一个与基本 url (https://www.cbs.com) 连接起来以形成最终链接。