linux命令行抓取网页快照 linux命令行抓取网页快照-（xvfb+CutyCapt）

 

目的：

在一台没有安装X-server的Debian服务器上实现命令行抓取网页快照

软件：

• xvfb（在命令行下实现对X-server的模拟，渲染图形进行缓存）-在没有安装X-Server的环境下提供图像渲染
• CutyCapt（模拟浏览器对网页进行下载、HTML、css渲染、Javascript执行，并将最终渲染完成的网页进行快照）- 主力干将
• Qt（CutyCapt是基于此框架开发的）

实践：

1.安装CutyCapt、Qt及相关软件包：

 

1 2 3 4 5

sudo apt-get install subversion libqt4-webkit libqt4-dev g++ svn co https://cutycapt.svn.sourceforge.net/svnroot/cutycapt cd cutycapt/CutyCapt qmake make

 

2.安装xvfb：

 

1	apt-get install xvfb

 

3.抓取测试：

 

1	xvfb-run --server-args="-screen 0, 1024x768x24" ./CutyCapt --url=http://www.zol.com.cn --out=zol.png

目的：

在一台没有安装X-server的Debian服务器上实现命令行抓取网页快照

软件：

• xvfb（在命令行下实现对X-server的模拟，渲染图形进行缓存）-在没有安装X-Server的环境下提供图像渲染
• CutyCapt（模拟浏览器对网页进行下载、HTML、css渲染、Javascript执行，并将最终渲染完成的网页进行快照）- 主力干将
• Qt（CutyCapt是基于此框架开发的）

实践：

1.安装CutyCapt、Qt及相关软件包：

 

1 2 3 4 5

sudo apt-get install subversion libqt4-webkit libqt4-dev g++ svn co https://cutycapt.svn.sourceforge.net/svnroot/cutycapt cd cutycapt/CutyCapt qmake make

 

2.安装xvfb：

 

1	apt-get install xvfb

 

3.抓取测试：

 

1	xvfb-run --server-args="-screen 0, 1024x768x24" ./CutyCapt --url=http://www.zol.com.cn --out=zol.png