js爬虫心得

第一步：分析要爬的网站：包括是否需要登陆、点击下一页的网址变化、下拉刷新的网址变化等等
第二步：根据第一步的分析，想好爬这个网站的思路
第三步：爬好所需的内容 保存

爬虫过程中用到的一些包：

（1）const request =  require(\'superagent\'); // 处理get post put delete head 请求  轻量接http请求库,模仿浏览器登陆

（2）const cheerio = require(\'cheerio\'); // 加载html
（3）const fs = require(\'fs\'); // 加载文件系统模块 将数据存到一个文件中的时候会用到

       fs.writeFile(\'saveFiles/zybl.txt\', content, (error1) => { // 将文件存起来 文件路径 要存的内容 错误
             if (error1) throw error1;
             // console.log(\' text save \');
         });

         this.files = fs.mkdir(\'saveFiles/simuwang/xlsx/第\' + this.page + \'页/\', (error) => {
            if (error) throw error;
          }); //创建新的文件夹
          //向新的文件夹里面创建新的文件
          const writeStream = fs.createWriteStream(\'saveFiles/simuwang/xlsx/\' + \'第\' + this.page + \'页/\' + xlsxTitle  + \'.xlsx\', [\'a\']);
            //向新的文件里面写入内容
           for (let i = 0; i < value1.length; i += 1) {
              writeStream.write(xlsxTitle + \'\t\' + this.getLocalTime(value1[i][0] / 1000)
                + \'\t\' + value1[i][1] + \'\t\' + this.getLocalTime(value2[i][0] / 1000)
                + \'\t\' + value2[i][1] + \'\t\' + this.getLocalTime(value3[i][0] / 1000)
                + \'\t\' + value3[i][1] + \'\t\');
            }
            //写入完内容之后及时关闭流，如果不关闭，当爬取很多的文件的时候会出现错误，文件里面写不进去内容
            writeStream.end();

（4）const fs      = require(\'graceful-fs\'); // 将文件存为xlse

       const writeStream = fs.createWriteStream(\'saveFiles/trader.xlsx\'); //新建xlsx文件

       writeStream.write(title);//像slsx里面写入内容

（5）const Promise = require(\'bluebird\'); //异步处理

（6）const Nightmare = require(\'nightmare\');//一个高层次的浏览器自动化图书馆  先要安装phantomjs 然后在装nightmare 

（7）const co        = require(\'co\');

爬虫的相关思路：

（1）获取首页面的所需内容
（2）在首页面的所有内容里面获取所需内容的链接
（3）将（2）里面的链接存到一个list里面去
（3）新写一个function，采用.pop()方法，用来取通过链接得到的新的内容
（4）判断list.length是否大于0，
（5）如果不是，开始爬子页面 并且调用该方法
（6）如果list的长度为0，就说明这一页爬完了，开始下一页，则将url改变
（7）重复（2）（3）（4）（5）（6）直至所有页面爬完