异步网络模块之aiohttp(一)

简介: 平时我们也许用的更多的是requests模块,或者是requests_hml模块,但是他们都属于阻塞类型的不支持异步,速度很难提高,于是后来出现了异步的grequests,开始了异步网络请求,速度得到了大大的提升,但是今天我们要说的另外的一个比较异步网络请求模块-aiohttp。

平时我们也许用的更多的是requests模块,或者是requests_hml模块,但是他们都属于阻塞类型的不支持异步,速度很难提高,于是后来出现了异步的grequests,开始了异步网络请求,速度得到了大大的提升,但是今天我们要说的另外的一个比较异步网络请求模块-aiohttp。

什么是aiohhtp?

要学习一个模块,首先要知道这个模块都能做什么,我们从官网上找到了关于aiohttp的解释。

Asynchronous HTTP Client/Server for asyncio and Python.
Supports both Client and HTTP Server.
Supports both Server WebSockets and Client WebSockets out-of-the-box without the Callback Hell.
Web-server has Middlewares, Signals and pluggable routing.

大概意思是说aiohttp是一个异步http网络模块分为了客户端和服务端,同时支持websocket的使用,另外不用担心在使用过程中多次回调导致回调地狱情况出现。

如何安装?

在linux直接pip安装应该没什么问题,一般都坑在windows系统上,我使用win10 64位系统直接安装也是没有出现什么问题,
官网上推荐的是先按照cchardet,这是一个关于网页编码的模块直接运行下面命令即可

pip install cchardet

之后我们安装

pip install aiohttp

后面的操作我们需要还要安装一个协程模块asyncio。

pip install asyncio

ok,没什么问题安装我们就到这里了。

如何使用

我们先看一段代码,后面会对代码作出解释。

import asyncio #导入协程包
import aiohttp #导入aiohttp 
from lxml import html   #导入html解析模块
headers={"User-Agent""Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
}
async def getsource(url):
       conn=aiohttp.TCPConnector(verify_ssl=False)#防止ssl报错
       async with aiohttp.ClientSession(connector=conn) as session: #创建session
             async with session.get(url,headers=headers,timeout=60as req: #获得请求
                 if req.status==200#判断请求码
                    source=await req.text()#使用await关键字获取返回结果
                    print(html.fromstring(source).xpath("//title/text()")[0]) #获取网页标题
                 else:
                     print("访问失败")
if __name__=="__main__":
         full_urllist= 
["https://www.baidu.com","https://www.cnblogs.com","https://www.jianshu.com"]
         event_loop = asyncio.get_event_loop() #创建事件循环
         tasks = [getsource(url) for url in full_urllist]
         results = event_loop.run_until_complete(asyncio.wait(tasks))#等待任务结束

-----------------------------------------运行结果---------------------------------------------


部分内容已经在上面的代码中标注了,下面我们开始对上面的内容进行分析。

 

async/await

首先我们需要知道关键字async/await,在方法的面前加关键字async之后该方法就成了一个协程了,
一般await关键字使用的使用所在的方法必须带有async,关于两个关键字的演变,要从yield说起,
演变过程请参考http://python.jobbole.com/86069/,这里只要知道是协程意思就行了。
首先我定义了连接器并取消ssl安全验证,我们使用verify_ssl使其等于False,默认是True的。

TCPConnector

因为有的网站请求的时候会验证ssl证书,如果是自签名的ssl证书会出错。

conn=aiohttp.TCPConnector(verify_ssl=False)#防止ssl报错

下面是关于TCPConnector的所有参数部分。

class aiohttp.TCPConnector(*, ssl=None, verify_ssl=True, fingerprint=None, use_dns_cache=True, ttl_dns_cache=10, family=0, ssl_context=None, local_addr=None, resolver=None, keepalive_timeout=sentinel, force_close=False, limit=100, limit_per_host=0, enable_cleanup_closed=False, loop=None)

limit

为了限制同时打开的连接数量,我们可以将限制参数传递给连接器:

conn = aiohttp.TCPConnector(limit=30)#同时最大进行连接的连接数为30,默认是100,limit=0的时候是无限制

limit_per_host:

conn = aiohttp.TCPConnector(limit_per_host=30)#默认是0

同一端点的最大连接数量。同一端点即(host, port, is_ssl)完全相同.

ClientSession

首先我们创建一个session对象,向下面这样使用async声明异步,同时with上下文关键字 省去了关闭连接的代码,

async with aiohttp.ClientSession(connector=conn) as session: 

下面是ClientSession的所有参数,这里用的比较多的是connector,headers,cookies其他的参数大家可以去自己探索一下。

class aiohttp.ClientSession(*, connector=None, loop=None, cookies=None, headers=None, skip_auto_headers=None, auth=None, json_serialize=json.dumps, version=aiohttp.HttpVersion11, cookie_jar=None, read_timeout=None, conn_timeout=None, timeout=sentinel, raise_for_status=False, connector_owner=True, auto_decompress=True, proxies=None

session.get

上面我们创建了session对象,然后我们就要进行请求具体的网站了。

async with session.get(url,headers=headers,timeout=60as req: #获得请求

这一步我们像使用requests那样传入headers参数并指定最大超时为60s。

ClientResponse

然后我们判断请求是否情况,之后我们使用await req.text()获取了网页的源码,注意这里必须使用await关键字来获取协程的结果。然后我们使用了lxml模块获取这三个网页的title标题。

到目前为止我们只是定义了一个协程,并没有真正的运行它接下来我们看看main方法是做什么的。

         full_urllist= 
["https://www.baidu.com","https://www.cnblogs.com","https://www.jianshu.com"]
         event_loop = asyncio.get_event_loop() #创建时间循环
         tasks = [getsource(url) for url in full_urllist]
         results = event_loop.run_until_complete(asyncio.wait(tasks))#等待任务结束

首先我定义了一个列表含有三个目标url,当前你可以定义更多。
asyncio.get_event_loop方法可以创建一个事件循环,然后使用run_until_complete将协程注册到事件循环,并启动事件循环。
协程对象不能直接运行,在注册事件循环的时候,其实是run_until_complete方法将协程包装成为了一个任务(task)对象。所谓task对象是Future类的子类。保存了协程运行后的状态,用于未来获取协程的结果。

asyncio.ensure_future(coroutine) 和 loop.create_task(coroutine)都可以创建一个task,run_until_complete的参数是一个futrue对象。当传入一个协程,其内部会自动封装成task,task是Future的子类。isinstance(task, asyncio.Future)将会输出True。

简单的我们就了解到这吧,如果有什么不懂的地方请留言大家一起讨论。

目录
相关文章
|
3月前
|
消息中间件 NoSQL Linux
workFlow c++异步网络库编译教程与简介
搜狗公司C++服务器引擎,编程范式。支撑搜狗几乎所有后端C++在线服务,包括所有搜索服务,云输入法,在线广告等,每日处理数百亿请求。这是一个设计轻盈优雅的企业级程序引擎,可以满足大多数后端与嵌入式开发需求。 编程范式 结构化并发与任务隐藏回调与内存回收机制
53 0
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch基础之网络模块torch.nn中函数和模板类的使用详解(附源码)
PyTorch基础之网络模块torch.nn中函数和模板类的使用详解(附源码)
57 0
|
6月前
|
缓存 网络协议 Dubbo
异步编程 - 12 异步、基于事件驱动的网络编程框架 Netty
异步编程 - 12 异步、基于事件驱动的网络编程框架 Netty
45 0
|
15天前
|
数据采集 网络协议 API
python中其他网络相关的模块和库简介
【4月更文挑战第4天】Python网络编程有多个流行模块和库,如requests提供简洁的HTTP客户端API,支持多种HTTP方法和自动处理复杂功能;Scrapy是高效的网络爬虫框架,适用于数据挖掘和自动化测试;aiohttp基于asyncio的异步HTTP库,用于构建高性能Web应用;Twisted是事件驱动的网络引擎,支持多种协议和异步编程;Flask和Django分别是轻量级和全栈Web框架,方便构建不同规模的Web应用。这些工具使网络编程更简单和高效。
|
4月前
|
设计模式 网络协议 Java
C++ Boost 异步网络编程基础
Boost库为C++提供了强大的支持,尤其在多线程和网络编程方面。其中,Boost.Asio库是一个基于前摄器设计模式的库,用于实现高并发和网络相关的开发。Boost.Asio核心类是`io_service`,它相当于前摄模式下的`Proactor`角色。所有的IO操作都需要通过`io_service`来实现。在异步模式下,程序除了发起IO操作外,还需要定义一个用于回调的完成处理函数。`io_service`将IO操作交给操作系统执行,但它不同步等待,而是立即返回。调用`io_service`的`run`成员函数可以等待异步操作完成。当异步操作完成时,`io_service`会从操作系统获取结
77 1
C++ Boost 异步网络编程基础
|
4月前
|
缓存 安全 网络安全
2021年中职“网络安全“江西省赛题—A模块解析
2021年中职“网络安全“江西省赛题—A模块解析
98 1
2021年中职“网络安全“江西省赛题—A模块解析
|
5月前
|
消息中间件 编解码 网络协议
聊聊 RocketMQ 网络通讯模块
RocketMQ 的网络通讯模块负责生产者、消费者与 Broker 之间的网络通信。 笔者学习 RocketMQ 也是从通讯模块源码开始的,并且从源码里汲取了很多营养。
37011 3
聊聊 RocketMQ 网络通讯模块
|
2月前
|
机器学习/深度学习 计算机视觉 网络架构
【FCN】端到端式语义分割的开篇之作! 从中窥探后续语义分割网络的核心模块(一)
【FCN】端到端式语义分割的开篇之作! 从中窥探后续语义分割网络的核心模块(一)
289 0
【FCN】端到端式语义分割的开篇之作! 从中窥探后续语义分割网络的核心模块(一)
|
3月前
|
人工智能 网络协议 数据中心
通义千问关于网络模块的专业知识能力正确率测试
通义千问是一个大型语言模型,旨在通过对话形式提供各种领域知识和信息,帮助用户解决问题、获取见解和进行交互式学习。
39 0
|
3月前
|
网络协议 C++
C++异步网络库workflow入门教程(1)HTTP任务
创建任务方法原型 在workflow中所有的客户端任务都放在`WFTaskFactory`工厂类中 + `url:`请求的http url + `redirect_max:`表示最大重定向次数。如果在请求过程中遇到重定向,该参数指定了最多允许重定向的次数。 + `retry_max`:表示最大重试次数。如果请求失败,该参数指定了最多可以重试的次数。 + `callback`:这是一个回调函数的指针,用于处理请求的响应。原型为`using http_callback_t = std::function
66 0

热门文章

最新文章