Python / BeautifulSoup 图像抓取无法正确保存动画 GIF答案

【问题标题】：Python / BeautifulSoup Image Scraping Does Not Save Animated GIFs CorrectlyPython / BeautifulSoup 图像抓取无法正确保存动画 GIF
【发布时间】：2019-06-18 13:24:16
【问题描述】：

我有一段 Python 代码可以帮助我每天早上从网站上抓取一些图像 - 用于我负责的日常项目。一切正常，我可以毫无问题地获得 JPG 和 PNG。问题是动画 GIF 大部分时间都被保存/下载为静态 GIF。有时它会保存为动画，但很少。

我对 BeautifulSoup 不是很熟悉，所以我不确定我做错了什么，或者 BeautifulSoup 处理动画 GIF 的方式存在限制。

我将 kickstarter 网址用于测试目的...

import os
import sys
import requests
import urllib
import urllib.request
from bs4 import BeautifulSoup
from csv import writer

baseUrl = requests.get('https://www.kickstarter.com/projects/peak-design/travel-tripod-by-peak-design')
soup = BeautifulSoup(baseUrl.text, 'html.parser')

allImgs = soup.findAll('img')

imgCounter = 1

for img in allImgs:
    newImg = img.get('src')

    # CHECK EXTENSION
    if '.jpg' in newImg:
        extension = '.jpg'
    elif '.png' in newImg:
        extension = '.png'
    elif '.gif' in newImg:
        extension = '.gif'

    imgFile = open(str(imgCounter) + extension, 'wb')
    imgFile.write(urllib.request.urlopen(newImg).read())
    imgCounter = imgCounter + 1
    imgFile.close()

任何有关此问题的帮助或见解将不胜感激！！！

-S

【问题讨论】：

How to download this GIF(dynamic) by Python?的可能重复
@DavidZemens 是的，我读了那个帖子，但我对如何将他们正在做的事情与我正在做的事情结合起来感到困惑。我看到的区别是这些行imgFile.write(urllib.request.urlopen(newImg).read()) vs f.write(requests.get(uri).content) 有什么建议吗？

标签： python web-scraping beautifulsoup animated-gif

【解决方案1】：

这对我有用... 基本上我需要从任何 GIF 文件中获取data-src，而不是像我为所有图像所做的那样src。

这是修改后的代码：

import os
import sys
import requests
import urllib
import urllib.request
from bs4 import BeautifulSoup
from csv import writer

baseUrl = requests.get('https://www.kickstarter.com/projects/peak-design/travel-tripod-by-peak-design')
soup = BeautifulSoup(baseUrl.text, 'html.parser')

allImgs = soup.findAll('img')

imgCounter = 1

for img in allImgs:
    newImg = img.get('data-src')
    if newImg == None:
        newImg = img.get('src')

    #CHECK EXTENSION
    if '.jpg' in newImg:
        extension = '.jpg'
    elif '.png' in newImg:
        extension = '.png'
    elif '.gif' in newImg:
        extension = '.gif'

    imgFile = open(str(imgCounter) + extension, 'wb')
    imgFile.write(urllib.request.urlopen(newImg).read())
    imgCounter = imgCounter + 1
    imgFile.close()

【讨论】：