http协议和web处理请求相关

简介:

参考:

    http://www.ietf.org/rfc/rfc2616.txt (http协议)

    https://en.wikipedia.org/wiki/Endianness(大端法和小端法)

    http://www.cnblogs.com/gaojing/archive/2012/02/04/2413626.html(url和uri)

    http://www.cnblogs.com/kissdodog/archive/2013/01/11/2856335.html(http报文)

    http://baike.baidu.com/item/通用网关接口  (cgi)

    http://www.showerlee.com/archives/807 (apache的prefork、work、event工作模式)


1.http(hypertext transfer protocol)协议

    http协议最早用来传输超文本(http/0.9版本),什么是超文本呢,其实是用超链接的方法,将各种不同空间的文字信息组织在一起的网状文本。http/1.0引入了MIME机制,使得非文本类信息也可以利用http协议传输。但是http/1.0对长连接、缓存机制、虚拟主机等的支持并不是很好,所以最后http/1.1解决了这些问题,也成为我们现在最常用的http协议。


    超链接:简单来讲就是内容链接,一个页面位置可以跳到其他地方

    html(hyper text marked language):我们知道http可以传输文件数据,但是我们又希望这些数据传输过来后按我们希望的样子展示,于是就给这些文字加上标签,通过这些标签,客户端(一般是浏览器)可以知道该以什么样的方式去展示页面给我们。这些标签与原始数据的结合就是html。

    MIME(Multipurpose Internet Mail Extensions):我们知道,每个人都有自己的不同点,计算的制造也是一样。这就导致了计算机存储数据的时候存在两种不同的方法:大端法和小端法。 简单来说,存储“protocol”单词的时候,一个从小到大存储为 pr、ot、oc、ol,另一个存储为ol、oc、ot、pr(ascii编码,一个字母只需1字节表示),这就导致了程序读取数据流,会因为计算机硬件的不同而导致意外结果。解决这个问题的方法之一是不使用二进制流,而使用文本流,先把二进制流编码为文本流,再进行程序处理。因为文本流具有易读性等优点,且不会因为硬件的不同而发生变化,所以很多程序对数据的处理都采用文本流。当然,它的缺点也很明显,转码增加了额外开销,降低了效率。 同样地,图片和视频等的编码和文本是不一样的,因为http/0.9协议只支持文本传输,所以不能传输图片,而http/1.0 MIME机制引入则改变了这一现状,MIME机制把图片等格式转码为对应的文本流并标识之,使之可以传输到远端,远端根据标识还原为原来的格式并展示,所以我们看到在http协议头部有Content-Type标识。


url和uri:

    uri(uniform resource identifier):统一资源标识符,用来唯一的标识一个资源,它是种抽象概念,只要是能唯一标识资源的符号即可。

    url(uniform resource locator):可以看做互联网上对uri的一种实现,可以唯一某一资源,它的格式一般如下:

        protocol://host[:port]/path/to/file [ "?" query ]

            protocol:协议,比如http、ftp等

            host:主机,可以是ip也可以是fqdn

            port:对应的端口,可省略

            path/to/file:在主机上具体的位置,nginx中把这个当做uri

            ?query:url附带的信息,比如查询某个用户等,可省略


http报文:

http协议的报文只有两种:请求和响应报文。


    请求报文格式如下:

    <method> <request-uri> <http version>    //请求行

    <header>                                                 //消息报头

                                                                    //空格行,必备,好像是报文头部和主体区分用,待查明

    [Entity]                                                      //报文主体 put和post方法会用到

    method:表示请求的方法,常见如下:

        get:请求获取request-uri所标识的资源

        post:在资源后面附加新的数据

        head:仅获取响应报文头部

        put:请求服务器存储一个资源,用request-uri作为其标识,和post的区别在于,post是修改文件内容,put是创建文件

        delete:请求删除资源

        trace:测试用,请求服务器回送收到的请求信息

        connect:保留

        options:查询服务器的性能,或者查询与资源相关的选项和需求

    request-uri:同url

    http version:有0.9、 1.0 、1.1三个版本

    header:头部信息,有很多种类头部,缓存相关的,编码相关的等等,这里只是常见几个

        host:主机名,很多人会疑惑,http被tcp/ip协议封装,而tcp/ip已经包含目的ip了,为什么这里还需要一个host头部? 其实这个是为了实现虚拟主机,正是因为有了这个头部,web才可以利用这个头部对不同的请求转发给不同的虚拟主机。

        Cache-Control:缓存控制指令,常见的如下:

            no-cache:这个是很经常被误解的缓存指令,并非不能使用缓存,而是使用缓存前必须跟服务器确认缓存没有过期。

            no-store:这个才是大家理解上的不使用缓存

            max-age:最大缓存时长,(这个可以覆盖max-age头部,有优先级,Pragram>Cache Control>Expires>其他

        Accept:可接受的类型

        Accept-Encoding:可接受的编码

        Referer:这个头部用来记录请求是从哪个网页跳转过来的,经常利用这个字段来防盗链。

例子:

GET /5bd1bjqh_Q23odCf/static/wiseindex/js/superframe_0467623d.js HTTP/1.1

Host: gss0.bdstatic.com

Connection: keep-alive

User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36

Accept: */*

Referer: https://m.baidu.com/?from=844b&vit=fps

Accept-Encoding: gzip, deflate, sdch, br

Accept-Language: zh-CN,zh;q=0.8


响应报文格式如下:

    <http-version> <status-code> <reason-phrase>

    <header>


    <Entity>

    http-version:和请求报文一样

    status-code:状态码,描述请求资源的状态,分为以下五类:

        1xx:信息类,不常用

        2xx:成功类状态码,比如200 (ok)

        3xx:重定向类状态码

        301:永久重定向,即从这个页面完全转移到另一个页面

        302:临时重定向,即只是临时去跳去某个页面而已,主体还在,对网络蜘蛛有用

        304:no modify,表示没修改过,可以使用本地的缓存

        4xx:客户端类错误

        400:请求有语法错误

        401:unauthorized未授权

        403:forbidden 禁止,服务器收到请求,但拒绝提供服务

        404:not found没有这个资源

        5xx:服务端类错误,比如502(网关错误)等

    reason-phrase:即对状态码的简单说明,比如403的“forbidden”就是这个字段

    header:和客户端的header有些相同,有些不一样,但格式都一样,具体参考rfc2616

    Entity:即报文的数据内容,没啥好说的。


为什么使用缓存?

    每个url称作一个资源或一个对象,我们知道,一个index.html页面里面可能包含很多个对象,而在最开始,每个请求对象都是独立发起一个请求的(这样是为什么我们ss -tn同一时间能看到多个相同ip的请求的原因),我们知道http是应用层协议,在tcp/ip之上,而tcp协议的连接需要“三次握手,四次断开”,这就意味着如果一个页面包含10个对象的话,用这种方法,我们访问一个页面就要30次握手,40次断开。这显然是不理想的。

    于是,http中引入了一种长连接机制,当客户端和服务器建立tcp链接,并传送好对象的时候,并不马上断开,而是等待下一个对象的请求和传送。当然,这个并不是一个一个地发起请求,那样达不到并发效果,因为浏览器一般是多线程的,所以它是两者的结合,利用算法先把请求对象合理分批,同时发起并建立长连接,这样效率大大提高。当然,长连接也有它的缺点,当并发请求数很大的时候,因为进程能打开的文件句柄有限,所以,长连接会导致链接释放过慢,相比普通链接能处理的请求更少。

    页面的请求是如此消耗资源,尤其是图片、压缩包等对象更是大大占用了带宽,而这些对象,都有很少更改的特点,所以,缓存就派上用场了。


    http/1.1中增加了很多头部用以控制缓存。

    比如,我们明确知道我们将在2017年10月23日 10:10修改1.jpg,而在此之前都不会修改,那么我们就可以让服务器返回一个If-Modified-Since头部,在此之前都可以使用缓存(客户端请求对象时会收到一个date头部,通过这个头部和If-Modified-Since对比即可判断是否该使用缓存),其他方式比如max-age等等。


public和private缓存:

    public缓存:简单地说就是允许大家访问的访问,比如无关紧要的图片等。

    private缓存:个人的隐私的缓存,比如个人cookie(可能包含用户登陆信息)等


2.web的请求处理工作模式:

一个web处理请求的过程应该大致包括以下几个步骤:

    1.接收请求

    2.分析请求

    3.读取请求内容数据

    4.封装请求内容数据为响应报文

    5.发送响应报文

    

    这里要注意到的一点是一个纯粹意义上的web只能处理静态内容,而类似于php脚本需要在访问是动态执行的内容,要获取它们的内容,则需要借助额外的机制。web本身并不参与其中。这种机制的实现方法有多种,比如httpd就把php做成自己的子模块,需要执行php相关的内容的时候则调用这个模块。当然它也支持更为流行的cgi。cgi是种接口,它可以把页面相关的动态内容转发给有能力处理它们的程序,并返回处理结果。

    还有一点是这里的封装请求内容数据,并不是指tcp/ip对http报文的封装,而是因为我们访问的内容都是一些数据,我们需要给它们打上html标签,这样客户端才知道我们希望给它展示为什么样子。

    

    那么,当请求到来的时候,web是怎么工作的呢?

  最简单的模型是单进程模型,一个进程顺序处理完一个请求的所有步骤后,再处理下一个请求报文

wKiom1jbSjOyQG9DAAA7DkMJjUc468.png

    这种模型的好处的是程序逻辑十分简单,但是缺点也很明显,当有多个请求链接并发进来的时候,只有一个请求能得到响应,其他请求有可能因为无法及时响应而超时断开,尤其是使用长连接的时候,所以现在应该没有人用这种。

    因此,出现了第二种模型。

wKioL1jbSzfDTy37AABKyy0PCgU001.png

  web使用一个主进程接受请求但是自己并不响应,而是创建一个子进程,交给子进程去响应(比如主进程只完成步骤1接受请求,子进程完成剩下步骤),这样,当同时进来多个请求的时候,只要为其都创建个子进程便可同时响应,解决了因等待太久而超时断开的问题。

    但是,这种模型的缺点也很明显,进程是个重量级的数据结构单位,这就意味着,大量的进程会占用大量的系统资源,比如一个进程占用2M内存,那么1000个请求就要2G的内存空间,而且因为单个cpu一次只能运行一个进程,为了达到同时的效果,它进行进程上下文切换,这就意味着,多个进程光是进行上下文切换就要耗费大量的系统开销。

    所以,这种模型只适合在并发不高的场景下工作,并且有它最适合的进程个数,一旦超过这个个数,这种模型的优势会被系统资源消耗的劣势所抵消,甚至一个请求都响应不了。apache的prefork就是类似这种模型,不同的是,它总是预留一些空闲进程出来,这比请求进来的时候临时fork效率高得多。

    于是,有了第三种模型。

wKiom1jbTkGgL-YHAAA6pmdbHSA010.png

    这种模型使用了比进程更小的单位--线程去处理请求,因为只有一个进程,而且线程是轻量级的单位,所以对内存的资源消耗大大降低,又因为可以同时使用多个线程,所以也达到了并发的目的。又因为线程在同一进程内,所以它们可以共享内存空间,当多个请求访问相同的内容的时候,这是一个极大的优点,进程只需读取一次数据,执行一次i/o操作,把数据缓存在内存空间中响应下一次相同请求内容的链接即可。大家知道i/o操作比内存操作慢上几个数量级,所以这个会大大提高系统的吞吐能力,适合在高并发的情况下使用。

    但是,这种模型也有它的缺点。首先,多个线程使用相同的进程内存空间,这就意味着,当有线程对进程内存空间的内容进行修改的时候,它必须对其加锁,用以防止多个线程同时修改带来的数据崩溃。而且,进程需要管理线程,这使得进程变得复杂,此时进程对于线程类似cpu对于进程,进程必须知道哪个请求交给哪些线程,涉及到i/o操作还需要知道,哪些线程已经完成,可以发送响应报文,哪些报文尚未完成,因此,进程对线程的管理也有最优上限,一个进程根据应该场景不同,可以最有效地管理不同的线程数量。根据这个结合前面几个模型优缺点,有了第四种模型:

wKioL1jbbobCZwPqAABGWevrKeI253.png

    这种模型下,主进程事先fork几个空闲进程出来,当请求进来的时候,交给子进程,子进程生成线程进行管理,每个子进程只响应有限个请求,这样,每个进程都能发挥它的最优性能,当并发量的时候,这种模型的好处便体现出来。当然,缺点也显而易见,当访问量很小简单模型足以应付的时候,这种模型由于比较复杂,相对于简单的模型,反而效率更低。


进程对线程的管理

   前面提到,进程必须知道线程的相关状态才能对其进行管理。假设现在有100个线程在进程i/o操作,进程怎么知道哪些处理好,哪些没有呢?

      一种方法是定时对其轮询,每隔一段时间把所有线程轮询一遍。 显而易见,这种方法虽然能满足需求,但是每次轮询势必浪费大量时间。于是有了第二种方法。

     第二种方法是给每个线程设置一个标志位,类似于磁盘文件系统管理中的位图。每次有哪些线程i/o操作好了,就把标志位置1,默认为0.进程逐一轮询,而是扫描这些标志位。

     有人会好奇,这不是也要轮询一遍吗?怎么效率更高了?  其实是因为同样是轮询,但是扫描的单位大小变化了,第一种方法的轮询,就好比一个班级里,你一个个地问,xxx你作业做好了没?  而第二种则是把每个人的名字写在本子上,如果谁写了作业就打个勾,想知道谁好了没就只需要看这个本子即可。

     第二种方法也是http的work模型,然而,这种模型仍然解决不了一种问题: 因为我们轮询是定期执行的,这就会导致一种场景,当前面线程的标志位被扫描过后,前面的线程却刚好在此时完成了i/o操作,但是因为轮询只扫一次,所以它只能等待下一次轮询周期的到来,于是催生了第三种方法。

    第三种方法不使用轮询,而是改用通知机制,(进程允许线程进行中断,这点是我猜的,没验证,当然整篇都是我个人理解,不权威),当线程完成i/o操作后,通知进程数据准备好了,进程收到后及时把数据发出去,这样,大大提高了同时响应请求的能力,这也是apache的event模型

    

    最后,我要声明,这些都是我瞎写的j_0057.gif









本文转自biao007h51CTO博客,原文链接:http://blog.51cto.com/linzb/1911468 ,如需转载请自行联系原作者






相关文章
|
23天前
|
网络协议 Linux iOS开发
推荐:实现RTSP/RTMP/HLS/HTTP协议的轻量级流媒体框架,支持大并发连接请求
推荐:实现RTSP/RTMP/HLS/HTTP协议的轻量级流媒体框架,支持大并发连接请求
51 1
|
1月前
|
网络协议 Shell 网络安全
实验目的1.编译安装httpd2.优化路径3.并将鲜花网站上传到web服务器为网页目录4.在客户机访问网站http://www.bdqn.com
实验目的1.编译安装httpd2.优化路径3.并将鲜花网站上传到web服务器为网页目录4.在客户机访问网站http://www.bdqn.com
164 0
|
7天前
|
缓存 网络协议
【计算机协议】第一章——HTTP协议详解
【计算机协议】第一章——HTTP协议详解
|
8天前
|
网络协议 Java API
深度剖析:Java网络编程中的TCP/IP与HTTP协议实践
【4月更文挑战第17天】Java网络编程重在TCP/IP和HTTP协议的应用。TCP提供可靠数据传输,通过Socket和ServerSocket实现;HTTP用于Web服务,常借助HttpURLConnection或Apache HttpClient。两者结合,构成网络服务基础。Java有多种高级API和框架(如Netty、Spring Boot)简化开发,助力高效、高并发的网络通信。
|
11天前
|
缓存 安全 网络协议
Http协议是什么
【4月更文挑战第12天】HTTP是用于从WWW服务器传输超文本到浏览器的协议,基于TCP/IP,特点包括无连接、无状态、面向对象、无阻塞和可缓存。它的工作原理是客户端发送请求,服务器处理后返回响应。自1989年创建以来,HTTP已发展支持多媒体内容传输,并通过HTTPS提供安全保护。学习更多可参考计算机网络技术文献。
18 6
|
13天前
|
存储 JSON 前端开发
网络原理(4)HTTP协议(下)
网络原理(4)HTTP协议
25 0
|
23天前
|
XML JSON JavaScript
推荐一个比较好用的c++版本http协议库-cpp-httplib
推荐一个比较好用的c++版本http协议库-cpp-httplib
37 1
|
30天前
|
运维 监控 算法
slb监听协议http
SLB的HTTP监听器用于处理HTTP请求,配置时选择协议类型为HTTP和前端端口(如80)。SLB根据负载算法将请求转发至健康后端服务器,并支持会话保持。通过`X-Forwarded-For`和`X-Forwarded-Proto`头处理请求信息。由于不涉及SSL/TLS,数据传输不安全,推荐升级至HTTPS以加密通信。SLB提供性能监控和故障排查工具,帮助运维管理。
26 5
|
1月前
|
程序员
深入理解HTTP协议本质与应用
HTTP是一个在计算机世界里专门在两点之间传输文字、图片、音频、视频等超文本数据的约定和规范。简单来说,如果你不懂HTTP协议,那就相当于是个只有“半桶水”的程序员。在这个课程中,带你一起花最少的时间,用最少的精力,掌握最多、最全面、最系统的HTTP相关知识
14 3
深入理解HTTP协议本质与应用
|
1月前
|
数据采集 缓存 前端开发
http和https请求服务器的时候在请求头部分都带什么到服务器呢?
HTTP和HTTPS请求头基本结构相似,HTTPS多了一层SSL/TLS加密。常见请求头如Accept(指定内容类型)、Authorization(身份验证)、Cookie(会话跟踪)、User-Agent(标识用户代理)等。HTTPS特有的头包括Upgrade-Insecure-Requests(升级到HTTPS)、Strict-Transport-Security(强制使用HTTPS)、Sec-Fetch-*(安全策略)和X-Content-Type-Options、X-Frame-Options等(增强安全性)。实际应用中,请求头会根据需求和安全策略变化。
20 0