Python爬虫入门教程 44-100 Charles的安装与使用-手机APP爬虫部分

简介: 1. 第二款抓包工具Charles安装与使用Charles和Fiddler一样,也是一款抓包工具,比Fiddler界面更加清晰,支持多平台1.1 官方网址https://www.charlesproxy.

1. 第二款抓包工具Charles安装与使用

Charles和Fiddler一样,也是一款抓包工具,比Fiddler界面更加清晰,支持多平台
image

1.1 官方网址

https://www.charlesproxy.com/

1.2 下载地址

Charles工具下载地址:https://www.charlesproxy.com/download/

自己去百度一款,我找了2个百度网盘的 链接挂了就不补了啊~

  1. 链接: https://pan.baidu.com/s/1pMawsEv 密码:meuk
  2. 链接: https://pan.baidu.com/s/1kV3h0gf 密码: nqaa

下载之后,安装就比较简单了,常规操作即可

2. Charles基本操作

打开Charles在电脑上就可以使用了
image

2.1 PC设置抓包,包括HTTP和HTTPS

软件安装好了之后,默认是需要抓取电脑浏览器访问的,但是好多网站是https的请求,那样你访问大概率得到的是unknow

如下图,会显示一堆小锁的图标,表示加密请求,我们需要配置一些内容,将这些锁解开
image

2.2 安装根证书

电脑上安装根证书,只需要按照下面三个步骤就可以了,弹出来安装证书,一路下一步即可。
image

勾选代理里面的windows proxy即可抓包
image

接下来是关键的一个步骤,需要抓取本地的https包
image

弹出的窗口配置一下host,你直接写 * 即可
大部分人会设置Host:* port:443 ;但是如果直接点击OK也是没有问题的

image

这时候,在刷新一下百度,https解包了
image

3. Charles抓取手机APP基本操作

配置完毕了电脑抓包之后,就需要开始准备手机APP抓包了,基本操作和Fiddler是非常类似的
设置基本代理

image

配置如下内容,端口号一般默认8888即可

image

4. 夜神模拟器基本设置

打开模拟器设置,wlan,长按,选择代理设置,基本配置之后,打开默认浏览器。
image

在手机已经设置好代理网络后,在手机浏览器中输入http://charlesproxy.com/getssl 安装证书(如果需要抓取https数据,则证书必须安装)

或者输入 chls.pro/ssl 也是可以安装证书的

image

证书安装完毕,打开浏览器输入百度,查看是否安装成功

运行之后,出现百度抓取链接,表示成功。
image

如果想只抓取手机APP发送的请求的话,可以不勾选WindowsProxy选项,这样在测试时就不会被本机Http请求所干扰。

5. Charles 使用说明

image

  • 扫把按钮:点击之后可清除抓取到的所有请求
  • 图标按钮:红点亮起说明正在抓取请求,红点展示为灰色说明目前不在抓取请求状态
  • 乌龟按钮:灰色乌龟是网速设置正常,绿色乌龟指慢速网速开启了
  • 六角形图标:断点图标,灰色说明断点未开启,红色说明在使用断点
  • 钢笔图标:编辑请求,点击之后可以修改请求的内容
  • 刷新图标:重复发送请求的图标,先选定某一请求点击该图标则请求会被再次发送
  • 对号图标:
  • 扳手图标:对应于导航栏中的tools图标,有些许功能
  • 设置图标:设置charles中的情况

过滤不必要的网络包

选择Proxy->Recording Settings菜单,然后在include栏添加需要抓取包的指定服务器请求协议、地址、端口号,也可以在exclude栏添加不抓取包的地址。

在Sequence界面的Filter栏中填入需要过滤的关键字

代理转发

中文乱码

edit -> preferences -> 选择一个中文字体

其他内容就不补充了,自行体验吧

最后,给你附录几个写的不错的博客

https://blog.csdn.net/zhangxiang_1102/article/details/77855548
https://segmentfault.com/a/1190000012329292?utm_source=tag-newest
https://www.cnblogs.com/jiayuchn-test/p/8875105.html

下一篇,我们就实际应用一下Charles,期待哪一个APP被我们临幸吧。

相关文章
|
15天前
|
数据采集 Python
【python】爬虫-西安医学院-校长信箱
本文以西安医学院-校长信箱为基础来展示爬虫案例。来介绍python爬虫。
【python】爬虫-西安医学院-校长信箱
|
21天前
|
数据采集 安全 Python
python并发编程:Python实现生产者消费者爬虫
python并发编程:Python实现生产者消费者爬虫
24 0
python并发编程:Python实现生产者消费者爬虫
|
1天前
|
数据采集 存储 JSON
Python爬虫面试:requests、BeautifulSoup与Scrapy详解
【4月更文挑战第19天】本文聚焦于Python爬虫面试中的核心库——requests、BeautifulSoup和Scrapy。讲解了它们的常见问题、易错点及应对策略。对于requests,强调了异常处理、代理设置和请求重试;BeautifulSoup部分提到选择器使用、动态内容处理和解析效率优化;而Scrapy则关注项目架构、数据存储和分布式爬虫。通过实例代码,帮助读者深化理解并提升面试表现。
10 0
|
5天前
|
数据采集 JavaScript 前端开发
使用Python打造爬虫程序之破茧而出:Python爬虫遭遇反爬虫机制及应对策略
【4月更文挑战第19天】本文探讨了Python爬虫应对反爬虫机制的策略。常见的反爬虫机制包括User-Agent检测、IP限制、动态加载内容、验证码验证和Cookie跟踪。应对策略包括设置合理User-Agent、使用代理IP、处理动态加载内容、验证码识别及维护Cookie。此外,还提到高级策略如降低请求频率、模拟人类行为、分布式爬虫和学习网站规则。开发者需不断学习新策略,同时遵守规则和法律法规,确保爬虫的稳定性和合法性。
|
16天前
|
数据采集 存储 前端开发
Python爬虫如何快速入门
写了几篇网络爬虫的博文后,有网友留言问Python爬虫如何入门?今天就来了解一下什么是爬虫,如何快速的上手Python爬虫。
20 0
|
29天前
|
数据采集 存储 Web App开发
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧
一键实现数据采集和存储:Python爬虫、Pandas和Excel的应用技巧
|
1月前
|
数据采集 前端开发 JavaScript
Python爬虫零基础到爬啥都行
Python爬虫项目实战全程实录,你想要什么数据能随意的爬,不管抓多少数据几分钟就能爬到你的硬盘,需要会基本的前端技术(HTML、CSS、JAVASCRIPT)和LINUX、MYSQL、REDIS基础。
20 1
Python爬虫零基础到爬啥都行
|
2月前
|
监控 安全 Android开发
【新手必读】Airtest测试Android手机常见的设置问题
【新手必读】Airtest测试Android手机常见的设置问题
|
4月前
|
XML Java Android开发
Android Studio开发之使用内容组件Content获取通讯信息讲解及实战(附源码 包括添加手机联系人和发短信)
Android Studio开发之使用内容组件Content获取通讯信息讲解及实战(附源码 包括添加手机联系人和发短信)
82 0
|
3月前
|
安全 网络协议 Linux
【公网远程手机Android服务器】安卓Termux搭建Web服务器
【公网远程手机Android服务器】安卓Termux搭建Web服务器
64 0