【发布时间】：2016-07-11 09:02:38
【问题描述】：
我想从Dawn.com 以及 Tribune.com 的任何文章中提取 cmets。我提取 cmets 的方式是，在 Dawn 上以 <div class="comment__body cf"> 为目标，而在 Tribune.com 上以 class="content" 为目标
我一般怎么做？这意味着，在这些网站上没有类似的模式可以通过一个类来实现。
我应该为每个网站编写单独的代码吗？
【问题讨论】：
-
一个以您的格式表示评论的类，但检索它们的方法必须因网站而异。我不明白这里有什么问题？
-
这意味着没有通用方法可以使用一个代码从所有网站访问 cmets（对所有网站使用相同的类名，换句话说，通用方式）？我们必须在不同的网站上给它不同的类名。
-
您将不得不使用具有不同底层结构的不同网站。不过，如何处理 cmets 的接口应该是通用的。也许你可以阅读依赖注入。您将网站特定的解析代码传递给您的类，该类处理您想要对 cmets 执行的任何操作。
-
@user3387223 。这让我很清楚。非常感谢。
-
这个问题似乎与stackoverflow.com/questions/38301865/…非常相似
标签： python-3.x beautifulsoup web-crawler