下载所有已发表的摘要答案

【问题标题】：Download all pubmed abstracts下载所有已发表的摘要
【发布时间】：2021-11-25 17:51:07
【问题描述】：

有人知道如何轻松下载所有已发表的文章摘要吗？我正在做一个文本挖掘项目。

在给定 pmid 的情况下，我能找到的最接近的可以一次下载一份摘要，但这对于我的目的来说太慢了，因为我必须一次下载一份。

【问题讨论】：

【解决方案1】：

您可以直接通过 FTP 从 NLM 获取所有数据。

下载并工作，无需担心电子工具。

【讨论】：

【解决方案2】：

搜索"0000/01/01"[PDAT] : "3000/12/31"[PDAT] 应该会从一开始就为您找到每篇文章。

也许搜索结果上方显示的“发送至”功能可以让您下载所有内容。

或者，您可以编写脚本并使用 NCBI 中的 Entrez 编程实用程序。

您可以使用 ESearch 执行搜索查询，它将返回所有 PMID。然后您可以使用 EFetch 返回所有数据。这本书/手册中对此进行了解释： http://www.ncbi.nlm.nih.gov/books/NBK25501/

第 3 章包含一些示例脚本，可以帮助您入门： http://www.ncbi.nlm.nih.gov/books/NBK25498/#chapter3

您将获得包含摘要和所有其他数据的 xml 文件。

2500 万个 XML 文件...

【讨论】：

【解决方案3】：

我会使用RESTful API provided by Europe PMC。它们允许每个查询以 json 或 xml 格式下载 25 篇文章。有关疟疾的文章的示例查询如下所示：

您可以使用不同格式的搜索查询，这取决于您真正想要检索的内容。

【讨论】：

【解决方案4】：

我知道这已经有点过时了，但他们为您的完全相同的用例提供了一个流程 - 大型采矿项目。

您可以通过免费许可协议获取数据 - 更多信息 here。

【讨论】：

【解决方案5】：

从 2021 年起，您可以通过 Huggingface Datasets 的简单 API 访问语料库。

【讨论】：