使用 wget 下载需要 cookie 认证的网站

简介: 1、使用火狐,安装 Export Cookies 插件2、登录网站,点菜单"工具-Export Cookies..",保存 cookies.txt 到自己的文件夹3、把 cookies.txt 文件名改成 cookie.

1、使用火狐,安装 Export Cookies 插件

2
、登录网站,点菜单"工具-Export Cookies..",保存 cookies.txt 到自己的文件夹

3
、把 cookies.txt 文件名改成 cookie.txt

4
、打开终端进入自己的文件夹,输入命令:

wget --referer=http://192.168.1.250 --cookies=on --load-cookies=cookie.txt -keep-session-cookies --save-cookies=cookie.txt http://192.168.1.250/space-1461-do-album-id-109.html

 

 

wget -r -p -np -k http://xxx.com/xxx

-r,  --recursive
(递归)          specify recursive download.(指定递归下载)
-k,  --convert-links
(转换链接)      make links in downloaded HTML point to local files.(将下载的HTML页面中的链接转换为相对链接即本地链接)
-p,  --page-requisites
(页面必需元素)    get all images, etc. needed to display HTML page.(下载所有的图片等页面显示所需的内容)
-np, --no-parent
(不追溯至父级)          don't ascend to the parent directory.

另外断点续传用-nc参数 日志 -o参数

-c 断点续传
-r
递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd
递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np
递归下载时不搜索上层目录,如wget -c -r www.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k
将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L
递归时不进入其它主机,如wget -c -r www.xxx.org/ 
如果网站内有一个这样的链接: 
www.yyy.org
,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站
-p
下载网页所需的所有文件,如图片等
-A
指定要下载的文件样式列表,多个样式用逗号分隔
-i
后面跟一个文件,文件内指明要下载的URL

目录
相关文章
|
4月前
|
存储 搜索推荐 安全
企业出海如何做好网站Cookie合规
确保企业出海网站合规,理解Cookie在用户登录和个性化体验中的关键作用。通过Cookie携带用户信息,实现免登录和个性化服务。GDPR对Cookie使用提出限制,要求用户同意原则。第三方Cookie用于广告追踪,涉及用户画像。GDPR规定了同意条件和操作方法,企业需采用合规的交互设计。九智汇提供的Cookie自动化同意管理系统帮助企业统一管理多地网站Cookie,满足监管合规。
55 0
|
3月前
|
存储 JSON 算法
登录认证-登录校验-会话技术方案选择和对比(cookie、session和JWT令牌)
登录认证-登录校验-会话技术方案选择和对比(cookie、session和JWT令牌)
|
10月前
|
存储 安全 Java
网站安全测试,会话 cookie 中缺少 HttpOnly 属性
可能会窃取或操纵客户会话和 cookie,它们可能用于模仿合法用户,从而使黑客能够以该用户身份查看或变更用户记录以及执行事务 “HttpOnly”属性的会话 cookie。由于此会话 cookie 不包含“HttpOnly”属性,因此 注入站点的恶意脚本可能访问此 cookie,并窃取它的值。任何存储在会话令牌中的 信息都可能被窃取,并在稍后用于身份盗窃或用户伪装。
493 0
|
Java 数据安全/隐私保护
WEB核心【记录网站登录人数,记录用户名案例】Cookie技术实现
本篇讲两个案例(记录网站登录人数,记录用户名案例)用会话技术cookie进行实现。
WEB核心【记录网站登录人数,记录用户名案例】Cookie技术实现
|
数据安全/隐私保护 网络架构 存储
快速理解 session/token/cookie 认证方式
目录 目录 cookie session token cookie Web Application 一般以 HTTP 协议作为传输协议, 但 HTTP 协议是无状态的.
1383 0
|
Web App开发
清除Chrome浏览器特定网站的Cookie
清除Chrome浏览器特定网站的Cookie
237 0
清除Chrome浏览器特定网站的Cookie
权限认证 cookie VS token
权限认证 cookie VS token 我前公司的应用都是 token 授权的,现公司都是维护一个 session 确认登录状态的。那么我在这掰扯掰扯这两种权限认证的方方面面。 工作流程 先说 cookie cookie 登录是有状态的,服务端维护一个 session 客户端维护一个 cookie,cookie 只保留 sessionID 服务端要保存并跟踪所有活动的 session 如下: 输入用户名密码登陆。
1603 0
|
数据安全/隐私保护 安全 应用服务中间件