从网站提取的下拉列表中提取选项答案

【问题标题】：Extract Options From Dropdown List Extracted From Website从网站提取的下拉列表中提取选项
【发布时间】：2013-01-21 23:15:31
【问题描述】：

我已经尝试（未成功）解决这个问题几个小时，需要一些帮助。我使用 Firebug 提取了几百行如下所示的 HTML：

<option value="1b4f4aed-cf1f-4b39-ae27">Foo</option>
<option value="1a05f93f-dd51-449d-b039">Bar</option>
<option value="f62d2d29-29fc-4f7c-9331">Bacon</option>

我将这些行保存到一个文本文件中。我想要的是一个（首选 Python，使用 Ruby 作为替代）脚本来打开进程并关闭文件。该处理应导致保存一个新的文本文件，如下所示：

Foo
Bar
Bacon

就是这样。提前感谢您的帮助。

【问题讨论】：

您能发布到目前为止您尝试过的内容吗？
我是个初学者……据我所知，我在 StackOverflow 上搜索“解析 HTML”、“使用 Python 解析 HTML”、“从下拉列表中提取选项”等内容，等等。我发现了一堆有趣的东西（BeautifulSoup、Scrapy、YouTube 视频等）并编写了一些伪代码，但我有点处于“迷失”的阶段。累了，现在就去睡觉。如果我在我的斗争中过早发布，我很抱歉。为了让您了解我的水平，我正在中途抛出一本关于 Python 的新初学者书籍。谢谢。

标签： python parsing html-parsing beautifulsoup

【解决方案1】：

根据您上面的评论，我建议 BeautifulSoup 与任何与 HTML 相关的内容。由于您处于学习阶段的早期，可能最好将“HTML”与“BeautifulSoup”（而不是regex :)）联系起来。这是一个非常基本的例子：

In [1]: from bs4 import BeautifulSoup

In [2]: html = """
<option value="1b4f4aed-cf1f-4b39-ae27">Foo</option>
<option value="1a05f93f-dd51-449d-b039">Bar</option>
<option value="f62d2d29-29fc-4f7c-9331">Bacon</option>
"""

In [3]: soup = BeautifulSoup(html)

In [4]: for option in soup.find_all('option'):
   ...:     print option.text
   ...:     
Foo
Bar
Bacon

在这里，我们将 HTML 传递给 BeautifulSoup 并将其分配给 soup 变量。现在我们有一个对象，其中包含我们的 HTML 和大量以用户友好的方式与之交互的方法。在这里，我们使用find_all 方法（文档here）在我们的HTML 中查找所有option 标签。现在，当我们迭代时，我们正在迭代 Tag 对象，它们有自己的特殊属性/方法。这里我们选择其中之一 (.text) 来显示 Tag 元素的文本（在这种情况下将是包含在标签中的文本）。

【讨论】：

+1 关于不使用正则表达式解析 HTML 的部分：)
@JoelCornett Ha，我想知道该帖子“保存”了多少人（我是其中之一，当然:)）。
非常感谢@RocketDonkey！这解决了我的问题并给了我学习的动力。作为一个练习（或多个练习），我将扩展您发布的内容以使用文件、数据结构和迭代器。从那里，我将做一些 BeautifulSoup 教程和文档阅读。看起来真的很强大和可用。无论如何，再次感谢:)
@chrisco 完全没问题，乐于助人 :) 对您来说有趣的一件事是掌握 BeautifulSoup 的基本知识，继续学习数据结构等，然后打好基础后再回到 BeautifulSoup。然后，您将能够深入了解实际发生的情况（“实际上，Tag 是什么？我如何创建自己的Tag？”）并开启全新的理解水平。你很开心:)