动态网页比静态网页更具有交互性,能给用户提供更好的体验。动态网页中常见的表现形式有下拉刷新,点击切换和悬停显示等。有Javascript改变HTML_DOM导致页面内容发生变化的现象称为动态渲染。很多时候开发者只是想完成某个交互功能,而不是特意区分正常用户的爬虫程序,但这在不经意间限制了爬虫对数据的获取。由于编程语言没有像浏览器一样内置Javascript解释器和渲染引擎,所以动态渲染是天然的反爬虫。
常见的动态渲染反爬虫案例
动态渲染广泛应用在Web网站中,大部分网站会使用Javascript来提升用户体验。
自动执行的异步请求
异步请求能减少网络请求的等待时间,从而提升网页加载速度。为了追求用户体验,提升网站加载速度和减少用户等待时间,开发者会将内容较多的综合信息页面拆分成多个部分,然后使用异步请求的方式获取资源。
https://611.com/CompetitionSchele_Schele?categoryID=&relatedType=&relatedTypeID=&r=0.04535191946248718