在网站上运行搜索并返回结果的脚本

Question

我有兴趣为我正在进行的系统文献综述自动化以下流程。

我有大量致病因子列表，我想对医学文献进行批量搜索，并返回我从每种类型的错误中得到的结果，然后将这些结果放入一个漂亮的 CSV 文件中，以便我可以阅读它们进入 R 并处理一些统计数据/频率分布等。

我可以使用 excel 表和 CTRL C + CTRL V 完成这一切，但这需要一些时间。

基本上，我需要某种方式与托管我要搜索的数据库的OvidSP 交谈，然后输入格式正确的字符串以进行我想要执行的确切搜索。然后让 OvidSP 为我运行搜索，并返回它获得的点击次数。我想如果他们有可用的 API，这将很容易 - 我已经直接通过电子邮件向他们发送了有关此问题的电子邮件。

我想知道是否有人认为这是可能的，或者为该任务编写脚本的最佳方法是什么。我有一些 Java、C++ 方面的经验并开始学​​习 R - 我还想知道 Python 是否有用？

这是我希望达到的目标的简要说明

我想搜索的错误（可以说是通过 CSV 文件输入程序）
* 沙门氏菌
* 大肠杆菌
* 流感

在此处插入精美的程序，该程序使用我的凭据连接到 Ovid 并运行以下搜索

1 - 沙门氏菌和发烧和医院 - 返回 9342 个结果
2 - 大肠杆菌和发烧和住院 - 返回 93821 结果
3 - 流感和发烧和住院 - 返回 323 个结果

程序将此数据写入格式良好的 CSV 文件中，我可以将其用于一些统计数据

我希望这是有道理的！提前致谢。

Answer 1

原则上这是可行的，主要问题是解析返回数据（可能很难，可能很容易）和身份验证（可能不难，但取决于他们网站的结构）。

您要查看的 python 模块是urllib2（用于请求）、csv（用于 csv）和beautifulSoup。

用 Python 编写此代码的好处在于，您可以交互地探索返回的 html（在 python shell 中），因此可以更轻松地弄清楚如何从 html 中提取少量有趣的数据，您将回来。