背景:
根据webMagic官方文档,定制Pipeline的实现类进行数据库保存爬虫信息的操作,那么这个Pipeline类里头就必须通过@AutoWired注解来调用Service或Dao层,结果这里出现了报错.
method=‘null’, extras=null, priority=0, headers={}, cookies={}
原因:
Spring中，自己亲自通过new从而实例化出来的对象是不被Spring所管理的。在webMagic的官方实例中，如果要将抓取的数据进行保存的话，需要自己创建一个实现类来实现Pipeline接口，重写其中的process（）方法，在该方法能进行数据保存的操作。问题就在于，在启动爬虫的调用处，该实现类是以new对象的形式传入到addPipeline方法的，因此在该实现类中，通过Autowired注入dao层对象是无效的，这时候运行起来就会报错。
换句话说，因为定制化Pipeline接口的实现类‘SaveTodatabase’本身就是以创建对象的形式传入到addPipeline方法里头被运行的，所以SaveToDatabase内部本身使用@Autowired注入的话是无效的，会引发空指针.
解决:
步骤一:
在定制的Pipeline实现类上加上@Component注解.将其交由Spring容器管理.
步骤二:
然后在爬虫启动类(如我的GithubRepoPageProcessor)用private修饰符声明该实现类的成员变量,接着在上面使用@Autowried注解注入该Pipeline实现类.
然后在addPieline方法的参数里头传入该成员变量命即可.
注意:成员变量必须为动态成员变量,不可以用static修饰为静态成员变量,因此爬虫启动处的方法也需为动态方法.
参考:https://www.thinbug.com/q/47256331 以及 码农大佬张棒棒