用wget命令进行整站下载

lvwzhen · 2015.4.20

使用 wget 命令可以对目标站进行整站下载,使用下面的方法还可以将下载的页面中的链接转换为本地链接。

wget -r -p -np -k http://xxx.com/abc/

 wget 遭遇403 forbidden解决办法:

对方服务器检查user_agent,我们可以使用-U(大写)参数来伪装成各种浏览器,从而骗过服务器检查,不让对方认为我们在使用下载工具:

wget -r -p -np -k -U Chrome/21.0.1180.89 http://xxx.com/abc/

 

参数说明:

-r,  –recursive(递归)                    specify recursive download.(指定递归下载)
-k,  –convert-links(转换链接)      make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
-p,  –page-requisites(页面必需元素)    get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
-np, –no-parent(不追溯至父级)            don’t ascend to the parent directory.
另外断点续传用-nc参数 日志 用-o参数

详细参数可参考 wget 中文详细使用说明