wget获取整站

简介: wget -m -e robots=off https://www.baidu.com-m是克隆整个网站,-e robots=off是让wget忽视robots.txt如果网站有中文路径,最好用以下命令wget -r -p -np -k --restrict-file-names=nocontrol http://www.

wget -m -e robots=off https://www.baidu.com
-m是克隆整个网站,-e robots=off是让wget忽视robots.txt

如果网站有中文路径,最好用以下命令

wget -r -p -np -k --restrict-file-names=nocontrol http://www.baidu.com

转自:http://blog.lanyus.com/archives/38.html

目录
相关文章
|
10天前
|
Serverless Python
Python开根号的几种方式
Python开根号的几种方式
38 0
|
8月前
|
JavaScript 调度 Python
Python3,为了“娑娜“,我花费3分钟把lol所有的英雄都下载了。
Python3,为了“娑娜“,我花费3分钟把lol所有的英雄都下载了。
41 0
|
3月前
|
算法 搜索推荐 程序员
第四十七练 请以递归方式实现计算整数列表的最大值
第四十七练 请以递归方式实现计算整数列表的最大值
22 2
|
10月前
|
数据采集 数据挖掘 开发工具
【每周一坑】数路径
现有一个 m × n (m,n 都小于 100)的网格,位于左上角的 A 要去寻找右下角的 B,A 只能向下或者向右行走,现在问题来了,按照刚才的规则,A 到达 B 一共有多少种不重复的路径?
|
10月前
|
Android开发
王者荣耀安卓区修改荣耀战区方法 | 最低战力查询(附带视频与安装包)
王者荣耀安卓区修改荣耀战区方法 | 最低战力查询(附带视频与安装包)
153 0
|
存储 算法 Python
Python冲击省一蓝桥杯 DFS集锦
Python冲击省一蓝桥杯 DFS集锦
201 0
Python冲击省一蓝桥杯 DFS集锦
|
安全 JavaScript Dubbo
干掉Random:这个类已经成为获取随机数的王者
干掉Random:这个类已经成为获取随机数的王者
|
算法 Python
Python冲击省一蓝桥杯 DFS集锦(2)
Python冲击省一蓝桥杯 DFS集锦
84 0
Python冲击省一蓝桥杯 DFS集锦(2)
|
存储 算法 C++
Python冲击省一蓝桥杯 DFS集锦(1)
Python冲击省一蓝桥杯 DFS集锦
127 0
Python冲击省一蓝桥杯 DFS集锦(1)