daimubai

前言

总感觉最近好多地震的新闻,就想着爬一波地震相关的数据来看看。

开发工具

Python 版本:3.6.4
相关模块:

scrapy模块;

jieba模块;

pyecharts模块;

folium模块;

wordcloud模块;

fake_useragent模块;

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量,pip安装需要的相关模块即可。

数据爬取

首先新建一个project:

然后打开中国地震台网:

http://news.ceic.ac.cn/index.html

发现使用网站自带的查询功能就可以查询到指定时间和经纬度范围的地震数据:

OK,那就开始写代码吧~

先在items.py文件内定义我们要爬取的数据:

class EarthquakeItem(scrapy.Item):

在spiders文件夹下新建main.py函数写我们爬虫主程序,这里我们爬取的是从2000年1月1日开始至今网站上所有有记录的地震数据(事实上,跑完代码发现网站里只有从2012年开始的地震数据T_T):

\'\'\'main\'\'\'

OK,大功告成了,在第一个earthquake文件夹下运行如下命令就行了:

scrapy crawl earthquake -o eqdata.json -t json

爬取的数据将保存在eqdata.json文件内。

文章到这里就结束了,感谢你的观看,关注我每天分享Python爬虫实战系列,下篇文章分享爬虫天气数据并分析。

分类:

技术点:

相关文章:

  • 2022-12-23
  • 2021-11-18
  • 2021-11-12
  • 2022-01-21
  • 2021-10-12
  • 2021-10-29
  • 2021-11-18
  • 2021-06-15
猜你喜欢
  • 2021-08-24
  • 2021-11-28
  • 2021-12-03
  • 2021-04-17
  • 2021-11-08
  • 2022-02-04
相关资源
相似解决方案