一些http 知识

HTTP协议header头域

　　HTTP（HyperTextTransferProtocol）是超文本传输协议的缩写，它用于传送WWW方式的数据，关于HTTP协议的详细内容请参考RFC2616。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求，请求头包含请求的方法、URI、协议版本、以及包含请求修饰符、客户信息和内容的类似于MIME的消息结构。服务器以一个状态行作为响应，相应的内容包括消息协议的版本，成功或者错误编码加上包含服务器信息、实体元信息以及可能的实体内容。
　　通常HTTP消息包括客户机向服务器的请求消息和服务器向客户机的响应消息。这两种类型的消息由一个起始行，一个或者多个头域，一个只是头域结束的空行和可选的消息体组成。HTTP的头域包括通用头，请求头，响应头和实体头四个部分。每个头域由一个域名，冒号（:）和域值三部分组成。域名是大小写无关的，域值前可以添加任何数量的空格符，头域可以被扩展为多行，在每行开始处，使用至少一个空格或制表符。

　　通用头域
　　通用头域包含请求和响应消息都支持的头域，通用头域包含Cache-Control、Connection、Date、Pragma、Transfer-Encoding、Upgrade、Via。对通用头域的扩展要求通讯双方都支持此扩展，如果存在不支持的通用头域，一般将会作为实体头域处理。下面简单介绍几个在UPnP消息中使用的通用头域。
　　Cache-Control头域
　　Cache-Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached，响应消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age。各个消息中的指令含义如下：
　　Public指示响应可被任何缓存区缓存。
　　Private指示对于单个用户的整个或部分响应消息，不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息，此响应消息对于其他用户的请求无效。
　　no-cache指示请求或响应消息不能缓存
　　no-store用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。
　　max-age指示客户机可以接收生存期不大于指定时间（以秒为单位）的响应。
　　min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应。
　　max-stale指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值，那么客户机可以接收超出超时期指定值之内的响应消息。
　　Date头域
　　Date头域表示消息发送的时间，时间的描述格式由rfc822定义。例如，Date:Mon,31Dec200104:25:57GMT。Date描述的时间表示世界标准时，换算成本地时间，需要知道用户所在的时区。
　　Pragma头域
　　Pragma头域用来包含实现特定的指令，最常用的是Pragma:no-cache。在HTTP/1.1协议中，它的含义和Cache-Control:no-cache相同。

　　请求消息
　　请求消息的第一行为下面的格式：
　　MethodSPRequest-URISPHTTP-VersionCRLFMethod表示对于Request-URI完成的方法，这个字段是大小写敏感的，包括OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE。方法GET和HEAD应该被所有的通用WEB服务器支持，其他所有方法的实现是可选的。GET方法取回由Request-URI标识的信息。HEAD方法也是取回由Request-URI标识的信息，只是可以在响应时，不返回消息体。POST方法可以请求服务器接收包含在请求中的实体信息，可以用于提交表单，向新闻组、BBS、邮件群组和数据库发送消息。
　　SP表示空格。Request-URI遵循URI格式，在此字段为星号（*）时，说明请求并不用于某个特定的资源地址，而是用于服务器本身。HTTP-Version表示支持的HTTP版本，例如为HTTP/1.1。CRLF表示换行回车符。请求头域允许客户端向服务器传递关于请求或者关于客户机的附加信息。请求头域可能包含下列字段Accept、Accept-Charset、Accept-Encoding、Accept-Language、Authorization、From、Host、If-Modified-Since、If-Match、If-None-Match、If-Range、If-Range、If-Unmodified-Since、Max-Forwards、Proxy-Authorization、Range、Referer、User-Agent。对请求头域的扩展要求通讯双方都支持，如果存在不支持的请求头域，一般将会作为实体头域处理。
　　典型的请求消息：
　　GET
　　Host:download.microtool.de
　　Accept:*/*
　　Pragma:no-cache
　　Cache-Control:no-cache
　　Referer:
　　User-Agent:Mozilla/4.04[en](Win95;I;Nav)
　　Range:bytes=554554-
　　上例第一行表示HTTP客户端（可能是浏览器、下载程序）通过GET方法获得指定URL下的文件。棕色的部分表示请求头域的信息，绿色的部分表示通用头部分。
　　Host头域
　　Host头域指定请求资源的Intenet主机和端口号，必须表示请求url的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域，否则系统会以400状态码返回。
　　Referer头域
　　Referer头域允许客户端指定请求uri的源资源地址，这可以允许服务器生成回退链表，可用来登陆、优化cache等。他也允许废除的或错误的连接由于维护的目的被追踪。如果请求的uri没有自己的uri地址，Referer不能被发送。如果指定的是部分uri地址，则此地址应该是一个相对地址。
　　Range头域
　　Range头域可以请求实体的一个或者多个子范围。例如，
　　表示头500个字节：bytes=0-499
　　表示第二个500字节：bytes=500-999
　　表示最后500个字节：bytes=-500
　　表示500字节以后的范围：bytes=500-
　　第一个和最后一个字节：bytes=0-0,-1
　　同时指定几个范围：bytes=500-600,601-999
　　但是服务器可以忽略此请求头，如果无条件GET包含Range请求头，响应会以状态码206（PartialContent）返回而不是以200（OK）。
　　User-Agent头域
　　User-Agent头域的内容包含发出请求的用户信息。

　　响应消息
　　响应消息的第一行为下面的格式：
　　HTTP-VersionSPStatus-CodeSPReason-PhraseCRLF
　　HTTP-Version表示支持的HTTP版本，例如为HTTP/1.1。Status-Code是一个三个数字的结果代码。Reason-Phrase给Status-Code提供一个简单的文本描述。Status-Code主要用于机器自动识别，Reason-Phrase主要用于帮助用户理解。Status-Code的第一个数字定义响应的类别，后两个数字没有分类的作用。第一个数字可能取5个不同的值：
　　1xx:信息响应类，表示接收到请求并且继续处理
　　2xx:处理成功响应类，表示动作被成功接收、理解和接受
　　3xx:重定向响应类，为了完成指定的动作，必须接受进一步处理
　　4xx:客户端错误，客户请求包含语法错误或者是不能正确执行
　　5xx:服务端错误，服务器不能正确执行一个正确的请求
　　响应头域允许服务器传递不能放在状态行的附加信息，这些域主要描述服务器的信息和Request-URI进一步的信息。响应头域包含Age、Location、Proxy-Authenticate、Public、Retry-After、Server、Vary、Warning、WWW-Authenticate。对响应头域的扩展要求通讯双方都支持，如果存在不支持的响应头域，一般将会作为实体头域处理。
　　典型的响应消息：
　　HTTP/1.0200OK
　　Date:Mon,31Dec200104:25:57GMT
　　Server:Apache/1.3.14(Unix)
　　Content-type:text/html
　　Last-modified:Tue,17Apr200106:46:28GMT
　　Etag:"a030f020ac7c01:1e9f"
　　Content-length:39725426
　　Content-range:bytes554554-40279979/40279980
　　上例第一行表示HTTP服务端响应一个GET方法。棕色的部分表示响应头域的信息，绿色的部分表示通用头部分，红色的部分表示实体头域的信息。
　　Location响应头
　　Location响应头用于重定向接收者到一个新URI地址。
　　Server响应头
　　Server响应头包含处理请求的原始服务器的软件信息。此域能包含多个产品标识和注释，产品标识一般按照重要性排序。

　　实体
　　请求消息和响应消息都可以包含实体信息，实体信息一般由实体头域和实体组成。实体头域包含关于实体的原信息，实体头包括Allow、Content-Base、Content-Encoding、Content-Language、Content-Length、Content-Location、Content-MD5、Content-Range、Content-Type、Etag、Expires、Last-Modified、extension-header。extension-header允许客户端定义新的实体头，但是这些域可能无法未接受方识别。实体可以是一个经过编码的字节流，它的编码方式由Content-Encoding或Content-Type定义，它的长度由Content-Length或Content-Range定义。
　　Content-Type实体头
　　用于向接收方指示实体的介质类型，指定HEAD方法送到接收方的实体介质类型，或GET方法发送的请求介质类型Content-Range实体头
　　Content-Range实体头
　　用于指定整个实体中的一部分的插入位置，他也指示了整个实体的长度。在服务器向客户返回一个部分响应，它必须描述响应覆盖的范围和整个实体长度。一般格式：
　　Content-Range:bytes-unitSPfirst-byte-pos-last-byte-pos/entity-legth
　　例如，传送头500个字节次字段的形式：Content-Range:bytes0-499/1234如果一个http消息包含此节（例如，对范围请求的响应或对一系列范围的重叠请求），Content-Range表示传送的范围，Content-Length表示实际传送的字节数。
　　Last-modified实体头
　　指定服务器上保存内容的最后修订时间。

HTTP的请求头标签 If-Modified-Since

 

一直以来没有留意过HTTP请求头的IMS（If-Modified-Since）标签。

最近在分析Squid的access.log日志文件时，发现了一个现象。
就是即使是对同一个文件进行HTTP请求，第一次和第二次产生的网络流量数据也是不一致的。

在调查的过程中，逐渐了解了HTTP的If-Modified-Since的头标签的作用。

 

大家都知道客户端浏览器是有缓存的，里面存放之前访问过的一些网页文件。
例如IE，会把缓存文件存到“C:\Documents and Settings\zh2000g\Local Settings\Temporary Internet Files”
这样类似的目录里。
其实缓存里存储的不只是网页文件，还有服务器发过来的该文件的最后服务器修改时间。

If-Modified-Since是标准的HTTP请求头标签，在发送HTTP请求时，把浏览器端缓存页面的最后修改时间一起发到服务器去，服务器会把这个时间与服务器上实际文件的最后修改时间进行比较。

如果时间一致，那么返回HTTP状态码304（不返回文件内容），客户端接到之后，就直接把本地缓存文件显示到浏览器中。

如果时间不一致，就返回HTTP状态码200和新的文件内容，客户端接到之后，会丢弃旧文件，把新文件缓存起来，并显示到浏览器中。

 下面用一个简单的小例子说明一下。

由于演示例子需要截取HTTP Request和Response的信息，我在这里使用的工具是Fiddler。
感兴趣的朋友可以到【】去下载。

 

1.首先在服务器创建一个简单的HTML文件，用浏览器访问一下，成功表示HTML页面。Fiddler就会产生下面的捕获信息。
  需要留意的是
  （1）因为是第一次访问该页面，客户端发请求时，请求头中没有If-Modified-Since标签。
  （2）服务器返回的HTTP状态码是200，并发送页面的全部内容。
  （3）服务器返回的HTTP头标签中有Last-Modified，告诉客户端页面的最后修改时间。  
 
2.在浏览器中刷新一下页面，Fiddler就会产生下面的捕获信息。
  需要注意的是
  （1）客户端发HTTP请求时，使用If-Modified-Since标签，把上次服务器告诉它的文件最后修改时间返回到服务器端了。
  （2）因为文件没有改动过，所以服务器返回的HTTP状态码是304，没有发送页面的内容。
 

 

3.用文本编辑器稍微改动一下页面文件，保存。再用浏览器访问一下，Fiddler就会产生下面的捕获信息。
需要留意的是
  （1）客户端发HTTP请求时，使用If-Modified-Since标签，把上次服务器告诉它的文件最后修改时间返回到服务器端了。
  （2）因为文件被改动过，两边时间不一致，所以服务器返回的HTTP状态码是200，并发送新页面的全部内容。
  （3）服务器返回的HTTP头标签中有Last-Modified，告诉客户端页面的新的最后修改时间。

 

 

HTTP的If-Modified-Since头标签与客户端缓存相互配合，大大节约了网络流量。

谷歌在站长帮助的技术指南中提到：

确保您的网络服务器支持 If-Modified-Since HTTP 标头。通过该功能，您的网络服务器可以告诉 Google 自上次抓取您的网站以来，内容是否已发生变化。该功能可以节省您的带宽和开销。

我们来看一下网上对HTTP 头：Last-Modified 与 If-Modified-Since的介绍。

简单的说，Last-Modified 与If-Modified-Since 都是用于记录页面最后修改时间的 HTTP 头信息，只是 Last-Modified 是由服务器往客户端发送的 HTTP 头，而 If-Modified-Since 则是由客户端往服务器发送的头，可 以看到，再次请求本地存在的 cache 页面时，客户端会通过 If-Modified-Since 头将先前服务器端发过来的 Last-Modified 最后修改时间戳发送回去，这是为了让服务器端进行验证，通过这个时间戳判断客户端的页面是否是最新的，如果不是最新的，则返回新的内容，如果是最新的，则 返回 304 告诉客户端其本地 cache 的页面是最新的，于是客户端就可以直接从本地加载页面了，这样在网络上传输的数据就会大大减少，同时也减轻了服务器的负担。

想要详细查看 HTTP 头信息，可以在 Firefox 中安装 LiveHTTPHeaders 插件，安装完成之后按 Alt+L 就可以在 Sidebar 中看到了。

ETags和If-None-Match是一种常用的判断资源是否改变的方法。类似于Last-Modified和HTTP-IF-MODIFIED-SINCE。但是有所不同的是Last-Modified和HTTP-IF-MODIFIED-SINCE只判断资源的最后修改时间，而ETags和If-None-Match可以是资源任何的任何属性，比如资源的MD5等。

ETags和If-None-Match的工作原理是在HTTP Response中添加ETags信息。当客户端再次请求该资源时，将在HTTP Request中加入If-None-Match信息（ETags的值）。如果服务器验证资源的ETags没有改变（该资源没有改变），将返回一个304状态；否则，服务器将返回200状态，并返回该资源和新的ETags。