Linux命令行抓包及包解析工具tshark(wireshark)使用实例解析

在Linux下,当我们需要抓取网络数据包分析时,通常是使用tcpdump抓取网络raw数据包存到一个文件,然后下载到本地使用wireshark界面网络分析工具进行网络包分析。
最近才发现,原来wireshark也提供有Linux命令行工具-tshark。tshark不仅有抓包的功能,还带了解析各种协议的能力。下面我们以两个实例来介绍tshark工具。

1、安装方法

  1. CentOS: yum install -y wireshark
  2. Ubuntu: apt-get install -y tshark

2、实时打印当前http请求的url(包括域名)

  1. tshark -s 512 -i eth0 -n -f ‘tcp dst port 80’ -R ‘http.host and http.request.uri’ -T fields -e http.host -e http.request.uri -l | tr -d ‘t’

下面介绍参数含义:

  • -s 512 :只抓取前512个字节数据
  • -i eth0 :捕获eth0网卡
  • -n :禁止网络对象名称解析
  • -f ‘tcp dst port 80’ :只捕捉协议为tcp,目的端口为80的数据包
  • -R ‘http.host and http.request.uri’ :过滤出http.host和http.request.uri
  • -T fields -e http.host -e http.request.uri :打印http.host和http.request.uri
  • -l :输出到标准输出

3、实时打印当前mysql查询语句

  1. tshark -s 512 -i eth0 -n -f ‘tcp dst port 3306’ -R ‘mysql.query’ -T fields -e mysql.query

下面介绍参数含义:

  • -s 512 :只抓取前512个字节数据
  • -i eth0 :捕获eth0网卡
  • -n :禁止网络对象名称解析
  • -f ‘tcp dst port 3306’ :只捕捉协议为tcp,目的端口为3306的数据包
  • -R ‘mysql.query’ :过滤出mysql.query
  • -T fields -e mysql.query :打印mysql查询语句

tshark使用-f来指定捕捉包过滤规则,规则与tcpdump一样,可以通过命令man pcap-filter来查得。
tshark使用-R来过滤已捕捉到的包,与界面版wireshark的左上角Filter一致。

HTTP状态码详解

1、百科名片

HTTP状态码(HTTP Status Code)是用以表示网页服务器HTTP响应状态的3位数字代码。它由 RFC 2616 规范定义的,并得到RFC 2518、RFC 2817、RFC 2295、RFC 2774、RFC 4918等规范扩展。所有状态码的第一个数字代表了响应的五种状态之一。

2、具体含义

1xx 消息

这一类型的状态码,代表请求已被接受,需要继续处理。这类响应是临时响应,只包含状态行和某些可选的响应头信息,并以空行结束。由于 HTTP/1.0 协议中没有定义任何 1xx 状态码,所以除非在某些试验条件下,服务器禁止向此类客户端发送 1xx 响应。
100

  客户端应当继续发送请求。这个临时响应是用来通知客户端它的部分请求已经被服务器接收,且仍未被拒绝。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。服务器必须在请求完成后向客户端发送一个最终响应。
101

  服务器已经理解了客户端的请求,并将通过Upgrade 消息头通知客户端采用不同的协议来完成这个请求。在发送完这个响应最后的空行后,服务器将会切换到在Upgrade 消息头中定义的那些协议。
  只有在切换新的协议更有好处的时候才应该采取类似措施。例如,切换到新的HTTP 版本比旧版本更有优势,或者切换到一个实时且同步的协议以传送利用此类特性的资源。
102

由WebDAV(RFC 2518)扩展的状态码,代表处理将被继续执行。

2xx 成功

这一类型的状态码,代表请求已成功被服务器接收、理解、并接受。
200

  请求已成功,请求所希望的响应头或数据体将随此响应返回。
201

  请求已经被实现,而且有一个新的资源已经依据请求的需要而建立,且其 URI 已经随Location 头信息返回。假如需要的资源无法及时建立的话,应当返回 ‘202 Accepted’。
202

  服务器已接受请求,但尚未处理。正如它可能被拒绝一样,最终该请求可能会也可能不会被执行。在异步操作的场合下,没有比发送这个状态码更方便的做法了。
  返回202状态码的响应的目的是允许服务器接受其他过程的请求(例如某个每天只执行一次的基于批处理的操作),而不必让客户端一直保持与服务器的连接直到批处理操作全部完成。在接受请求处理并返回202状态码的响应应当在返回的实体中包含一些指示处理当前状态的信息,以及指向处理状态监视器或状态预测的指针,以便用户能够估计操作是否已经完成。
203

  服务器已成功处理了请求,但返回的实体头部元信息不是在原始服务器上有效的确定集合,而是来自本地或者第三方的拷贝。当前的信息可能是原始版本的子集或者超集。例如,包含资源的元数据可能导致原始服务器知道元信息的超级。使用此状态码不是必须的,而且只有在响应不使用此状态码便会返回200 OK的情况下才是合适的。
204

  服务器成功处理了请求,但不需要返回任何实体内容,并且希望返回更新了的元信息。响应可能通过实体头部的形式,返回新的或更新后的元信息。如果存在这些头部信息,则应当与所请求的变量相呼应。
  如果客户端是浏览器的话,那么用户浏览器应保留发送了该请求的页面,而不产生任何文档视图上的变化,即使按照规范新的或更新后的元信息应当被应用到用户浏览器活动视图中的文档。
  由于204响应被禁止包含任何消息体,因此它始终以消息头后的第一个空行结尾。
205

  服务器成功处理了请求,且没有返回任何内容。但是与204响应不同,返回此状态码的响应要求请求者重置文档视图。该响应主要是被用于接受用户输入后,立即重置表单,以便用户能够轻松地开始另一次输入。
  与204响应一样,该响应也被禁止包含任何消息体,且以消息头后的第一个空行结束。
206

  服务器已经成功处理了部分 GET 请求。类似于 FlashGet 或者迅雷这类的 HTTP 下载工具都是使用此类响应实现断点续传或者将一个大文档分解为多个下载段同时下载。
  该请求必须包含 Range 头信息来指示客户端希望得到的内容范围,并且可能包含 If-Range 来作为请求条件。
  响应必须包含如下的头部域:
  Content-Range 用以指示本次响应中返回的内容的范围;如果是 Content-Type 为 multipart/byteranges 的多段下载,则每一 multipart 段中都应包含 Content-Range 域用以指示本段的内容范围。假如响应中包含 Content-Length,那么它的数值必须匹配它返回的内容范围的真实字节数。
  Date
  ETag 和/或 Content-Location,假如同样的请求本应该返回200响应。
  Expires, Cache-Control,和/或 Vary,假如其值可能与之前相同变量的其他响应对应的值不同的话。
  假如本响应请求使用了 If-Range 强缓存验证,那么本次响应不应该包含其他实体头;假如本响应的请求使用了 If-Range 弱缓存验证,那么本次响应禁止包含其他实体头;这避免了缓存的实体内容和更新了的实体头信息之间的不一致。否则,本响应就应当包含所有本应该返回200响应中应当返回的所有实体头部域。
  假如 ETag 或 Last-Modified 头部不能精确匹配的话,则客户端缓存应禁止将206响应返回的内容与之前任何缓存过的内容组合在一起。
  任何不支持 Range 以及 Content-Range 头的缓存都禁止缓存206响应返回的内容。
207

  由WebDAV(RFC 2518)扩展的状态码,代表之后的消息体将是一个XML消息,并且可能依照之前子请求数量的不同,包含一系列独立的响应代码。
3xx 重定向

这类状态码代表需要客户端采取进一步的操作才能完成请求。通常,这些状态码用来重定向,后续的请求地址(重定向目标)在本次响应的 Location 域中指明。
  当且仅当后续的请求所使用的方法是 GET 或者 HEAD 时,用户浏览器才可以在没有用户介入的情况下自动提交所需要的后续请求。客户端应当自动监测无限循环重定向(例如:A->A,或者A->B->C->A),因为这会导致服务器和客户端大量不必要的资源消耗。按照 HTTP/1.0 版规范的建议,浏览器不应自动访问超过5次的重定向。
300

  被请求的资源有一系列可供选择的回馈信息,每个都有自己特定的地址和浏览器驱动的商议信息。用户或浏览器能够自行选择一个首选的地址进行重定向。
  除非这是一个 HEAD 请求,否则该响应应当包括一个资源特性及地址的列表的实体,以便用户或浏览器从中选择最合适的重定向地址。这个实体的格式由 Content-Type 定义的格式所决定。浏览器可能根据响应的格式以及浏览器自身能力,自动作出最合适的选择。当然,RFC 2616规范并没有规定这样的自动选择该如何进行。
  如果服务器本身已经有了首选的回馈选择,那么在 Location 中应当指明这个回馈的 URI;浏览器可能会将这个 Location 值作为自动重定向的地址。此外,除非额外指定,否则这个响应也是可缓存的。
301

  被请求的资源已永久移动到新位置,并且将来任何对此资源的引用都应该使用本响应返回的若干个 URI 之一。如果可能,拥有链接编辑功能的客户端应当自动把请求的地址修改为从服务器反馈回来的地址。除非额外指定,否则这个响应也是可缓存的。
  新的永久性的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求,否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。
  如果这不是一个 GET 或者 HEAD 请求,因此浏览器禁止自动进行重定向,除非得到用户的确认,因为请求的条件可能因此发生变化。
  注意:对于某些使用 HTTP/1.0 协议的浏览器,当它们发送的 POST 请求得到了一个301响应的话,接下来的重定向请求将会变成 GET 方式。
302

  请求的资源现在临时从不同的 URI 响应请求。由于这样的重定向是临时的,客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下,这个响应才是可缓存的。
  新的临时性的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求,否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。
  如果这不是一个 GET 或者 HEAD 请求,那么浏览器禁止自动进行重定向,除非得到用户的确认,因为请求的条件可能因此发生变化。
  注意:虽然RFC 1945和RFC 2068规范不允许客户端在重定向时改变请求的方法,但是很多现存的浏览器将302响应视作为303响应,并且使用 GET 方式访问在 Location 中规定的 URI,而无视原先请求的方法。状态码303和307被添加了进来,用以明确服务器期待客户端进行何种反应。
303

  对应当前请求的响应可以在另一个 URI 上被找到,而且客户端应当采用 GET 的方式访问那个资源。这个方法的存在主要是为了允许由脚本激活的POST请求输出重定向到一个新的资源。这个新的 URI 不是原始资源的替代引用。同时,303响应禁止被缓存。当然,第二个请求(重定向)可能被缓存。
  新的 URI 应当在响应的 Location 域中返回。除非这是一个 HEAD 请求,否则响应的实体中应当包含指向新的 URI 的超链接及简短说明。
  注意:许多 HTTP/1.1 版以前的 浏览器不能正确理解303状态。如果需要考虑与这些浏览器之间的互动,302状态码应该可以胜任,因为大多数的浏览器处理302响应时的方式恰恰就是上述规范要求客户端处理303响应时应当做的。
304

  如果客户端发送了一个带条件的 GET 请求且该请求已被允许,而文档的内容(自上次访问以来或者根据请求的条件)并没有改变,则服务器应当返回这个状态码。304响应禁止包含消息体,因此始终以消息头后的第一个空行结尾。
  该响应必须包含以下的头信息:
  Date,除非这个服务器没有时钟。假如没有时钟的服务器也遵守这些规则,那么代理服务器以及客户端可以自行将 Date 字段添加到接收到的响应头中去(正如RFC 2068中规定的一样),缓存机制将会正常工作。
  ETag 和/或 Content-Location,假如同样的请求本应返回200响应。
  Expires, Cache-Control,和/或Vary,假如其值可能与之前相同变量的其他响应对应的值不同的话。
  假如本响应请求使用了强缓存验证,那么本次响应不应该包含其他实体头;否则(例如,某个带条件的 GET 请求使用了弱缓存验证),本次响应禁止包含其他实体头;这避免了缓存了的实体内容和更新了的实体头信息之间的不一致。
  假如某个304响应指明了当前某个实体没有缓存,那么缓存系统必须忽视这个响应,并且重复发送不包含限制条件的请求。
  假如接收到一个要求更新某个缓存条目的304响应,那么缓存系统必须更新整个条目以反映所有在响应中被更新的字段的值。
305
  被请求的资源必须通过指定的代理才能被访问。Location 域中将给出指定的代理所在的 URI 信息,接收者需要重复发送一个单独的请求,通过这个代理才能访问相应资源。只有原始服务器才能建立305响应。
  注意:RFC 2068中没有明确305响应是为了重定向一个单独的请求,而且只能被原始服务器建立。忽视这些限制可能导致严重的安全后果。
306
  在最新版的规范中,306状态码已经不再被使用。
307
  请求的资源现在临时从不同的URI 响应请求。由于这样的重定向是临时的,客户端应当继续向原有地址发送以后的请求。只有在Cache-Control或Expires中进行了指定的情况下,这个响应才是可缓存的。
  新的临时性的URI 应当在响应的 Location 域中返回。除非这是一个HEAD 请求,否则响应的实体中应当包含指向新的URI 的超链接及简短说明。因为部分浏览器不能识别307响应,因此需要添加上述必要信息以便用户能够理解并向新的 URI 发出访问请求。
  如果这不是一个GET 或者 HEAD 请求,那么浏览器禁止自动进行重定向,除非得到用户的确认,因为请求的条件可能因此发生变化。
4xx 请求错误

这类的状态码代表了客户端看起来可能发生了错误,妨碍了服务器的处理。除非响应的是一个 HEAD 请求,否则服务器就应该返回一个解释当前错误状况的实体,以及这是临时的还是永久性的状况。这些状态码适用于任何请求方法。浏览器应当向用户显示任何包含在此类错误响应中的实体内容。
  如果错误发生时客户端正在传送数据,那么使用TCP的服务器实现应当仔细确保在关闭客户端与服务器之间的连接之前,客户端已经收到了包含错误信息的数据包。如果客户端在收到错误信息后继续向服务器发送数据,服务器的TCP栈将向客户端发送一个重置数据包,以清除该客户端所有还未识别的输入缓冲,以免这些数据被服务器上的应用程序读取并干扰后者。
400

  1、语义有误,当前请求无法被服务器理解。除非进行修改,否则客户端不应该重复提交这个请求。
  2、请求参数有误。
401

  当前请求需要用户验证。该响应必须包含一个适用于被请求资源的 WWW-Authenticate 信息头用以询问用户信息。客户端可以重复提交一个包含恰当的 Authorization 头信息的请求。如果当前请求已经包含了 Authorization 证书,那么401响应代表着服务器验证已经拒绝了那些证书。如果401响应包含了与前一个响应相同的身份验证询问,且浏览器已经至少尝试了一次验证,那么浏览器应当向用户展示响应中包含的实体信息,因为这个实体信息中可能包含了相关诊断信息。参见RFC 2617。
402

  该状态码是为了将来可能的需求而预留的。
403

  服务器已经理解请求,但是拒绝执行它。与401响应不同的是,身份验证并不能提供任何帮助,而且这个请求也不应该被重复提交。如果这不是一个 HEAD 请求,而且服务器希望能够讲清楚为何请求不能被执行,那么就应该在实体内描述拒绝的原因。当然服务器也可以返回一个404响应,假如它不希望让客户端获得任何信息。
404

  请求失败,请求所希望得到的资源未被在服务器上发现。没有信息能够告诉用户这个状况到底是暂时的还是永久的。假如服务器知道情况的话,应当使用410状态码来告知旧资源因为某些内部的配置机制问题,已经永久的不可用,而且没有任何可以跳转的地址。404这个状态码被广泛应用于当服务器不想揭示到底为何请求被拒绝或者没有其他适合的响应可用的情况下。
405

  请求行中指定的请求方法不能被用于请求相应的资源。该响应必须返回一个Allow 头信息用以表示出当前资源能够接受的请求方法的列表。
  鉴于 PUT,DELETE 方法会对服务器上的资源进行写操作,因而绝大部分的网页服务器都不支持或者在默认配置下不允许上述请求方法,对于此类请求均会返回405错误。
406

  请求的资源的内容特性无法满足请求头中的条件,因而无法生成响应实体。
  除非这是一个 HEAD 请求,否则该响应就应当返回一个包含可以让用户或者浏览器从中选择最合适的实体特性以及地址列表的实体。实体的格式由 Content-Type 头中定义的媒体类型决定。浏览器可以根据格式及自身能力自行作出最佳选择。但是,规范中并没有定义任何作出此类自动选择的标准。
407

  与401响应类似,只不过客户端必须在代理服务器上进行身份验证。代理服务器必须返回一个 Proxy-Authenticate 用以进行身份询问。客户端可以返回一个 Proxy-Authorization 信息头用以验证。参见RFC 2617。
408

  请求超时。客户端没有在服务器预备等待的时间内完成一个请求的发送。客户端可以随时再次提交这一请求而无需进行任何更改。
409

  由于和被请求的资源的当前状态之间存在冲突,请求无法完成。这个代码只允许用在这样的情况下才能被使用:用户被认为能够解决冲突,并且会重新提交新的请求。该响应应当包含足够的信息以便用户发现冲突的源头。
  冲突通常发生于对 PUT 请求的处理中。例如,在采用版本检查的环境下,某次 PUT 提交的对特定资源的修改请求所附带的版本信息与之前的某个(第三方)请求向冲突,那么此时服务器就应该返回一个409错误,告知用户请求无法完成。此时,响应实体中很可能会包含两个冲突版本之间的差异比较,以便用户重新提交归并以后的新版本。
410

  被请求的资源在服务器上已经不再可用,而且没有任何已知的转发地址。这样的状况应当被认为是永久性的。如果可能,拥有链接编辑功能的客户端应当在获得用户许可后删除所有指向这个地址的引用。如果服务器不知道或者无法确定这个状况是否是永久的,那么就应该使用404状态码。除非额外说明,否则这个响应是可缓存的。
  410响应的目的主要是帮助网站管理员维护网站,通知用户该资源已经不再可用,并且服务器拥有者希望所有指向这个资源的远端连接也被删除。这类事件在限时、增值服务中很普遍。同样,410响应也被用于通知客户端在当前服务器站点上,原本属于某个个人的资源已经不再可用。当然,是否需要把所有永久不可用的资源标记为’410 Gone’,以及是否需要保持此标记多长时间,完全取决于服务器拥有者。
411

  服务器拒绝在没有定义 Content-Length 头的情况下接受请求。在添加了表明请求消息体长度的有效 Content-Length 头之后,客户端可以再次提交该请求。
412

  服务器在验证在请求的头字段中给出先决条件时,没能满足其中的一个或多个。这个状态码允许客户端在获取资源时在请求的元信息(请求头字段数据)中设置先决条件,以此避免该请求方法被应用到其希望的内容以外的资源上。
413

  服务器拒绝处理当前请求,因为该请求提交的实体数据大小超过了服务器愿意或者能够处理的范围。此种情况下,服务器可以关闭连接以免客户端继续发送此请求。
  如果这个状况是临时的,服务器应当返回一个 Retry-After 的响应头,以告知客户端可以在多少时间以后重新尝试。
414

  请求的URI 长度超过了服务器能够解释的长度,因此服务器拒绝对该请求提供服务。这比较少见,通常的情况包括:
  本应使用POST方法的表单提交变成了GET方法,导致查询字符串(Query String)过长。
  重定向URI “黑洞”,例如每次重定向把旧的 URI 作为新的 URI 的一部分,导致在若干次重定向后 URI 超长。
  客户端正在尝试利用某些服务器中存在的安全漏洞攻击服务器。这类服务器使用固定长度的缓冲读取或操作请求的 URI,当 GET 后的参数超过某个数值后,可能会产生缓冲区溢出,导致任意代码被执行[1]。没有此类漏洞的服务器,应当返回414状态码。
415

  对于当前请求的方法和所请求的资源,请求中提交的实体并不是服务器中所支持的格式,因此请求被拒绝。
416

  如果请求中包含了 Range 请求头,并且 Range 中指定的任何数据范围都与当前资源的可用范围不重合,同时请求中又没有定义 If-Range 请求头,那么服务器就应当返回416状态码。
  假如 Range 使用的是字节范围,那么这种情况就是指请求指定的所有数据范围的首字节位置都超过了当前资源的长度。服务器也应当在返回416状态码的同时,包含一个 Content-Range 实体头,用以指明当前资源的长度。这个响应也被禁止使用 multipart/byteranges 作为其 Content-Type。
417

  在请求头 Expect 中指定的预期内容无法被服务器满足,或者这个服务器是一个代理服务器,它有明显的证据证明在当前路由的下一个节点上,Expect 的内容无法被满足。
421

  从当前客户端所在的IP地址到服务器的连接数超过了服务器许可的最大范围。通常,这里的IP地址指的是从服务器上看到的客户端地址(比如用户的网关或者代理服务器地址)。在这种情况下,连接数的计算可能涉及到不止一个终端用户。
422

  请求格式正确,但是由于含有语义错误,无法响应。(RFC 4918 WebDAV)423 Locked
  当前资源被锁定。(RFC 4918 WebDAV)
424

  由于之前的某个请求发生的错误,导致当前请求失败,例如 PROPPATCH。(RFC 4918 WebDAV)
425

  在WebDav Advanced Collections 草案中定义,但是未出现在《WebDAV 顺序集协议》(RFC 3658)中。
426

  客户端应当切换到TLS/1.0。(RFC 2817)
449

由微软扩展,代表请求应当在执行完适当的操作后进行重试。
5xx 服务器错误

这类状态码代表了服务器在处理请求的过程中有错误或者异常状态发生,也有可能是服务器意识到以当前的软硬件资源无法完成对请求的处理。除非这是一个HEAD 请求,否则服务器应当包含一个解释当前错误状态以及这个状况是临时的还是永久的解释信息实体。浏览器应当向用户展示任何在当前响应中被包含的实体。
  这些状态码适用于任何响应方法。
500

  服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。一般来说,这个问题都会在服务器的程序码出错时出现。
501

  服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法,并且无法支持其对任何资源的请求。
502

  作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。
503

  由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。如果能够预计延迟时间,那么响应中可以包含一个 Retry-After 头用以标明这个延迟时间。如果没有给出这个 Retry-After 信息,那么客户端应当以处理500响应的方式处理它。
  注意:503状态码的存在并不意味着服务器在过载的时候必须使用它。某些服务器只不过是希望拒绝客户端的连接。
504

  作为网关或者代理工作的服务器尝试执行请求时,未能及时从上游服务器(URI标识出的服务器,例如HTTP、FTP、LDAP)或者辅助服务器(例如DNS)收到响应。
  注意:某些代理服务器在DNS查询超时时会返回400或者500错误
505

  服务器不支持,或者拒绝支持在请求中使用的 HTTP 版本。这暗示着服务器不能或不愿使用与客户端相同的版本。响应中应当包含一个描述了为何版本不被支持以及服务器支持哪些协议的实体。
506

  由《透明内容协商协议》(RFC 2295)扩展,代表服务器存在内部配置错误:被请求的协商变元资源被配置为在透明内容协商中使用自己,因此在一个协商处理中不是一个合适的重点。
507

  服务器无法存储完成请求所必须的内容。这个状况被认为是临时的。WebDAV (RFC 4918)
509

  服务器达到带宽限制。这不是一个官方的状态码,但是仍被广泛使用。
510

获取资源所需要的策略并没有没满足。(RFC 2774)

linux双线/多线机器路由配置

双/多线路需要增加 原路返回路由

  1. /bin/ip route flush table 100
  2. /bin/ip route add default via 电信网关 dev 电信网卡设备名称 src 电信IP table 100 prio 50
  3. /bin/ip rule add from 电信IP table 100
  4.  
  5. /bin/ip route flush table 200
  6. /bin/ip route add default via 联通网关 dev 联通网卡设备名称 src  联通IP table 200 prio 50
  7. /bin/ip rule add from 联通IP table 200

修改上面对应的IP,网关和设备名称,将上面内容写入/etc/rc.local开机执行

转自:高进波博客

DNS查询原理讲解

1、客户端需要访问devops.webres.wang网站,首先查找本地dns缓存是否存在devops.webres.wang的IP记录。
2、如果本地缓存没有记录,则向本地首选DNS服务器发送devops.webres.wang的DNS查询请求。
3、本地DNS服务器接收查询请求后,首先查询缓存是否存在此域名的dns记录,如果找不到记录,则向根DNS服务器发送DNS解析请求。
4、根DNS服务器向本地DNS服务器返回此域名的NS记录(即此域名的DNS服务器)。
5、本地DNS服务器向此域名的DNS服务器发送DNS解析请求。
6、此域名的DNS服务器查找此域名的IP解析,并返回给本地DNS服务器。
7、本地DNS服务器对此记录进行缓存,并返回给客户端此域名的DNS解析结果。
DNS原理演示:

子网的划分

什么是子网掩码

子网掩码是一个32位地址,。是与IP地址结合使用的一种技术。用4个字节的点分二进制数来表示时,其网络地址部分全置为1,它的主机地址部分全置为0。它的主要作用有两个,一是用于屏蔽IP地址的一部分以区别网络标识和主机标识,并说明该IP地址是在局域网上,还是在远程网上。二是用于将一个大的IP网络划分为若干小的子网络。
根据子网掩码与IP计算出网络地址:
  IP地址 192.168.0.254
  子网掩码 255.255.255.0
  转化为二进制进行运算:
  I P 地址 11000000.10101000.00000000.11111110
  子网掩码 11111111.11111111.11111111.00000000
  AND运算
  11000000.10101000.00000000.00000000
  转化为十进制后为:
  192.168.0.0

子网的划分

企业或者机关从连接服务商ISP那里申请的IP地址是网络地址,如179.130.0.0,企业或机关的网络管理员需要将在这个网络地址上为本单位的主机分配IP地址。在分配IP地址之前,首先需要根据本单位的行政关系、网络拓朴结构划分网,为各个子网分配子网地址。然后才能在子网地址的基础上为各个子网中的主机分配IP地址。
我们从ISP那里申请得到的网络地址也称为主网地址,这是一个没有挪用主机位的网络地址。单位自己划分出的子网地址需要挪用主网地址中的主机位来为各个子网编址。网络地址或主网地址不用掩码也可以计算出来,只需要看出它是哪一类IP地址。A类主网地址是255.0.0.0,B类主网地址是255.255.0.0,C类主网地址是255.255.255.0。
下面我们从一个例子来学习完整的IP地址设计。
设某单位申请得到一个C类地址200.210.95.0,需要划分出6个子网。我们需要为这6个子网分配子网地址,然后计算出本单位子网的子网掩码、各个子网中IP地址的分配范围、可用IP地址数量和广播地址。
步骤1:计算机需要挪用的主机位数的位数。
需要多少主机位需要试算。借1位主机位可以分配出21=2个子网地址;借2位主机位可以分配出22=4个子网地址;借3位主机位可以分配出23=8个子网地址。因此我们决定挪用3位主机位作为子网地址的编码。
步骤2:用二进制数为各个子网编码。
子网1的地址编码:200.210.95.00000000
子网2的地址编码:200.210.95.00100000
子网3的地址编码:200.210.95.01000000
子网4的地址编码:200.210.95.01100000
子网5的地址编码:200.210.95.10000000
子网6的地址编码:200.210.95.10100000
步骤3:将二进制数的子网地址编码转换为十进制数表示,成为能发布的子网地址。
子网1的子网地址:200.210.95.0
子网2的子网地址:200.210.95.32
子网3的子网地址:200.210.95.64
子网4的子网地址:200.210.95.96
子网5的子网地址:200.210.95.128
子网6的子网地址:200.210.95.160
步骤4:计算出子网掩码
先计算出二进制的子网掩码:11111111.11111111.11111111.11100000
(下划线的位是挪用的主机位)
转换为十进制表示,成为对外发布的子网掩码:255.255.255.224
步骤5:计算出各个子网的广播IP地址
先计算出二进制的子网广播地址,然后转换为十进制:200.210.95.00011111
子网1的广播IP地址:200.210.95. 00011111 / 200.210.95.31
子网2的广播IP地址:200.210.95. 00111111 / 200.210.95.63
子网3的广播IP地址:200.210.95. 01011111 / 200.210.95.95
子网4的广播IP地址:200.210.95. 01111111 / 200.210.95.127
子网5的广播IP地址:200.210.95. 10011111 / 200.210.95.159
子网6的广播IP地址:200.210.95. 10111111 / 200.210.95.191
实际上,简单地用下一个子网地址减1,就得到本子网的广播地址。我们列出二进制的计算过程是为了让读者更好地理解广播地址是如何被编码的。
步骤6:列出各个子网的IP地址范围
子网1的IP地址分配范围:200.210.95.1至200.210.95.30
子网2的IP地址分配范围:200.210.95.33至200.210.95.62
子网3的IP地址分配范围:200.210.95.65至200.210.95.94
子网4的IP地址分配范围:200.210.95.97至200.210.95.126
子网5的IP地址分配范围:200.210.95.129至200.210.95.158
子网6的IP地址分配范围:200.210.95.161至200.210.95.190
步骤7:计算出每个子网中的IP地址数量
被挪用后主机位的位数为5,能够为主机编址的数量为2^5-2=30。
减2的目的是去掉子网地址和子网广播地址。

划分子网会损失主机IP地址的数量。这是因为我们需要拿出一部分地址来表示子网地址、子网广播地址。另外,连接各个子网的路由器的每个接口也需要额外的IP地址开销。但是,为了网络的性能和管理的需要,我们不得不损失这些IP地址。

十进制数与二进制数的转换

一、二进制数转换成十进制数

由二进制数转换成十进制数的基本做法是,把二进制数首先写成加权系数展开式,然后按十进制加法规则求和。这种做法称为”按权相加”法。
例1105 把二进制数110.11转换成十进制数。
网络基础

二、十进制数转换为二进制数

十进制数转换为二进制数时,由于整数和小数的转换方法不同,所以先将十进制数的整数部分和小数部分分别转换后,再加以合并。
1. 十进制整数转换为二进制整数
十进制整数转换为二进制整数采用”除2取余,逆序排列”法。具体做法是:用2去除十进制整数,可以得到一个商和余数;再用2去除商,又会得到一个商和余数,如此进行,直到商为零时为止,然后把先得到的余数作为二进制数的低位有效位,后得到的余数作为二进制数的高位有效位,依次排列起来。
例1107 把 (173)10 转换为二进制数。
解:
网络基础
2.十进制小数转换为二进制小数
十进制小数转换成二进制小数采用”乘2取整,顺序排列”法。具体做法是:用2乘十进制小数,可以得到积,将积的整数部分取出,再用2乘余下的小数部分,又得到一个积,再将积的整数部分取出,如此进行,直到积中的小数部分为零,或者达到所要求的精度为止。
然后把取出的整数部分按顺序排列起来,先取的整数作为二进制小数的高位有效位,后取的整数作为低位有效位。
【例1108】把(0.8125)转换为二进制小数。
解:
网络基础
例1109 (173.8125)10=( )2
解: 由[例1107]得(173)10=(10101101)2
由[例1108]得(0.8125)10=(0.1101)2
把整数部分和小数部分合并得: (173.8125)10=(10101101.1101)2
原文:http://zyk.thss.tsinghua.edu.cn/29/elecTec/resource/knowledge/zsd11/z1103.htm

TCP三次握手及四次挥手详细图解

相对于SOCKET开发者,TCP创建过程和链接折除过程是由TCP/IP协议栈自动创建的.因此开发者并不需要控制这个过程.但是对于理解TCP底层运作机制,相当有帮助.

而且对于有网络协议工程师之类笔试,几乎是必考的内容.企业对这个问题热情之高,出乎我的意料:-)。有时上午面试前强调这个问题,并重复讲一次,下午几乎每一个人都被问到这个问题。

因此在这里详细解释一下这两个过程。

TCP三次握手

所谓三次握手(Three-way Handshake),是指建立一个TCP连接时,需要客户端和服务器总共发送3个包。

三次握手的目的是连接服务器指定端口,建立TCP连接,并同步连接双方的序列号和确认号并交换 TCP 窗口大小信息.在socket编程中,客户端执行connect()时。将触发三次握手。
网络基础
第一次握手:
客户端发送一个TCP的SYN标志位置1的包指明客户打算连接的服务器的端口,以及初始序号X,保存在包头的序列号(Sequence Number)字段里。
网络基础
第二次握手:
服务器发回确认包(ACK)应答。即SYN标志位和ACK标志位均为1同时,将确认序号(Acknowledgement Number)设置为客户的I S N加1以.即X+1。
网络基础

第三次握手.
客户端再次发送确认包(ACK) SYN标志位为0,ACK标志位为1.并且把服务器发来ACK的序号字段+1,放在确定字段中发送给对方.并且在数据段放写ISN的+1
网络基础
SYN攻击
在三次握手过程中,服务器发送SYN-ACK之后,收到客户端的ACK之前的TCP连接称为半连接(half-open connect).此时服务器处于Syn_RECV状态.当收到ACK后,服务器转入ESTABLISHED状态.
Syn攻击就是 攻击客户端 在短时间内伪造大量不存在的IP地址,向服务器不断地发送syn包,服务器回复确认包,并等待客户的确认,由于源地址是不存在的,服务器需要不断的重发直 至超时,这些伪造的SYN包将长时间占用未连接队列,正常的SYN请求被丢弃,目标系统运行缓慢,严重者引起网络堵塞甚至系统瘫痪。
Syn攻击是一个典型的DDOS攻击。检测SYN攻击非常的方便,当你在服务器上看到大量的半连接状态时,特别是源IP地址是随机的,基本上可以断定这是一次SYN攻击.在Linux下可以如下命令检测是否被Syn攻击
netstat -n -p TCP | grep SYN_RECV
一般较新的TCP/IP协议栈都对这一过程进行修正来防范Syn攻击,修改tcp协议实现。主要方法有SynAttackProtect保护机制、SYN cookies技术、增加最大半连接和缩短超时时间等.
但是不能完全防范syn攻击。
TCP 四次挥手
TCP的连接的拆除需要发送四个包,因此称为四次挥手(four-way handshake)。客户端或服务器均可主动发起挥手动作,在socket编程中,任何一方执行close()操作即可产生挥手操作。

网络基础

参见wireshark抓包,实测的抓包结果并没有严格按挥手时序。我估计是时间间隔太短造成。
网络基础
来源:http://blog.chinaunix.net/space.php?uid=20587912&do=blog&id=405055

数据通讯封装解封装详细流程

网络基础

一、pc1与pc2的通信过程

pc1 telnet pc2

1 从pc1的应用层向pc2发出一个telnet请求

2 该请求下到pc1的传输层,传输层在上层数据前面加上tcp报头,报头中包括目标端口为23,以及一个大于1024,小于65535的随机端口作为源端口。

3 传输层数据下到网络层,pc1在网络层封装,源ip地址为pc1的地址,目标ip地址为pc2的地址。

4 pc1将pc2的ip地址和子网掩码与自己做比对,可以发现pc2与自己处于相同的子网。所以数据传输不必经过网关设备。

5 数据包下到pc1的数据链路层进行封装,源mac地址为pc1的mac地址,目标mac地址查询自己的arp表。

6 如果pc1 arp表里没有pc2对应的mac地址,pc1发出一个arp广播查找pc2的mac地址,arp报文直接封装在2层之上,发送者(sender)的mac地址为pc1的mac地址,sender ip为pc1的ip地址。指向(target)mac为全0,target ip为pc2的ip。二层数据帧的目标指向二层广播地址(12个F)。
网络基础

7 交换机sw1收到pc1的arp报文后,若mac地址表不存在pc1的mac地址,就会将pc1的mac地址和pc1所连端口号记录到mac地址表,pc1的mac地址对应的端口号为1。然后将其做除发送端口外的泛洪处理。若存在的pc1-mac与端口的对应关系,则复位其老化计时器。并按mac地址表所记录的接口发送出该报文

8 局域网所有其他pc,包括网关设备都能接收到pc1的arp广播,并拆封二层帧头,target ip地址,target ip地址是否为自己。因为target ip是pc2的ip地址,此时pc2会将pc1与其mac的对应关系写入自己的ARP缓存表,这样减少了pc2发送arp广播请求pc1的mac的广播报文,提高了网络效率。之后pc2会以单播的方式给pc1回应消息,消息内包括pc2的mac地址作为sender mac地址,pc1的mac地址作为target地址。pc2的ip地址作为sender ip地址,pc1的ip地址作为target ip地址。(具体ARP Reply报文如下)

网络基础

9 交换机sw1收到pc2的回复帧后,读取二层的目标mac地址,并在自己的mac地址表里查询,mac地址表里有pc1的mac地址和端口的对应关系,所以sw1直接将报文从该端口发送出去,同时读出这个二层帧的源mac地址,记录pc2的mac地址和端口2的对应关系到mac地址表中。

10 pc1收到pc2的arp回复后将pc2的ip地址和mac地址对应关系写到自己的arp表中,并将pc2的mac地址作为目标mac地址写到待发送的帧内。

11 pc1把帧转换成bit流,从物理接口发出。

12 sw1收到这段bit流,读前6个字节的目标MAC地址,然后查看自己的mac地址表,表中有这个目标mac地址和端口的对应关系,并且和源mac地址不在同一个端口上。于是sw1把这个二层帧从对应的端口转发出去,其他端口不会转发该帧。

13 pc2接收到这个二层数据帧,查看帧的目标mac地址,和自己相等,说明该帧是发送给自己的,于是将二层帧头解开。

14 pc2查看三层包头,只要目标ip地址和自己匹配,即解开第三层封装。

15 pc2查看传输层报头,目标端口为23,pc2向上层应用查看自己是否开启了端口为23的上层服务。若开启则把传输层报头解封装后将数据送往上层。

二、pc1与pc4的通信

pc1 telnet pc4

1 从pc1的应用层向pc4发出一个telnet请求

2 该请求下到pc1的传输层,传输层在上层数据前面加上tcp报头,报头中包括目标端口为23,以及一个大于1024,小于65535的随机端口作为源端口。

3 传输层数据下到网络层,pc1在网络层封装,源ip地址为pc1地址,目标ip地址为pc4地址。

4 pc1将pc4的ip地址和子网掩码与自己做比对,可以发现pc4和自己不处于相同的子网。对于不处于相同子网的通信,是要通过网关处理的。本例中pc1的网关为r1的E0接口。

5 数据包下到pc1的数据链路层进行封装,源mac地址为pc1的mac地址,目标mac也就是网关mac地址,通过查询自己的arp表获取。

6 如果pc1 arp表里没有网关对应的mac地址,pc1发出一个arp广播查找网关的mac地址,arp报文直接封装在2层之上,发送者(sender)的mac地址为pc1的mac地址,sender ip为pc1的ip地址。指向(target)mac为全0,target ip为网关的ip。二层数据帧的目标指向二层广播地址(12个F)。

7 交换机sw1收到pc1的arp报文后,若mac地址表不存在pc1的mac地址,就会将pc1的mac地址和pc1所连端口号记录到mac地址表,之后将其做除发送端口外的泛洪处理。若存在该条目,则复位其aging timer老化计时器,之后按mac地址表所记录的接口发送出该报文。

8 局域网所有其他pc,包括网关设备都能接收到pc1的arp广播,并拆封二层帧头,查看target ip地址,target ip地址是否为自己。因为target ip是网关的ip地址,此时网关设备会将pc1与其mac的对应关系写入自己的ARP缓存表,这样减少了网关设备发送arp广播请求pc1的mac的广播报文,提高了网络效率。之后网关会以单播的方式给pc1回应消息,消息内包括网关的mac地址作为sender mac地址,pc1的mac地址作为target地址。网关的ip地址作为sender ip地址,pc1的ip地址作为target ip地址。

9 交换机sw1收到网关的回复帧后,读取二层的目标mac地址,并在自己的mac地址表里查询,mac地址表里有pc1的mac地址和端口的对应关系,所以sw1直接将报文从该端口发送出去,不再泛洪到其他端口。同时读出这个二层帧的源mac地址,记录路由器e0口的mac地址和端口4的对应关系到mac地址表中。

10 pc1收到网关的arp回复后将网关的ip地址和mac地址对应关系写到自己的arp表中,并将网关的mac地址作为目标mac地址写到待发送的帧内。

11 pc1把帧转换成bit流,从物理接口发出。

12 sw1收到这段bit流,读前6个字节的目标MAC地址,然后查看自己的mac地址表,表中有这个mac地址和端口的对应关系,并且和源mac地址不在同一个端口上。于是sw1把这个二层帧从对应的端口转发出去。

13 网关路由器接收到这个二层数据帧,查看帧的目标mac地址,和自己相等,说明该帧是发送给自己的,于是将二层帧头解开。

14 路由器R1查看三层包头,目标ip地址自己的e0口不匹配,也不等同于自己其他接口的ip地址,说明这不是一个给自己的包,而是一个去往其他网段的包,所以网关不再往上解封装。

15 路由器R1在自己的路由表里查询和数据包的目标ip地址匹配的路由,找出一条去往pc4所在网段的路由,该路由以自己的E1口为出口,下一跳路由器是r2。

16 路由器r1对数据包的三层数据不做任何改动,并封装上二层帧头,源mac地址是r1的e1口的mac地址,目标地址是r2的e1口的mac地址。(此处省略路由器r1获得r2的e1口mac地址的arp流程。)

17 路由器r1将这个二层帧转换成bit流从e1口发送出去。

18 路由器r2的e1口接收到这段bit流,并整合成帧,查看帧的目标mac地址,和自己的mac地址相等,说明这个帧是发送给自己的,于是路由器r2将该二层帧的帧头解掉。

19 路由器r2读取数据包的第三层信息。目标ip地址自己的e1口不匹配,也不等同于自己其他接口的ip地址,说明这不是一个给自己的包。于是不再往上解封装。

20 路由器R2在自己的路由表里查询和报文的目标ip地址匹配的路由,找出一条直连路由和数据包的目标网络匹配,于是认定该数据包是发往自己一个直连网段。

21 路由器R2对数据包的三层数据不做任何改动,并封装上二层帧头,源mac地址是r2的e0口的mac地址,目标地址是pc4的mac地址。

22 路由器查找自己的arp表,找寻和pc4对应的mac地址。如果arp表中没有和pc4对应的条目,就从e0口向该网段发起一个arp广播。arp报文直接封装在2层之上,sender mac地址为路由器e0口的mac地址,sender ip为路由器e0口的ip地址。Target mac为全0,target ip为pc4的ip。二层数据帧的目标指向二层广播地址(12个F)。

23 交换机sw2收到r2 e0口的arp报文后,若mac地址表不存在pc4的mac地址,就会将r2 e0口的mac地址和r2 e0所连端口号记录到mac地址表,之后将其做除发送端口外的泛洪处理。若存在该条目,则复位其aging timer老化计时器,之后按mac地址表所记录的接口发送出该报文。

24局域网所有其他pc,都能接收到路由器(网关)的arp广播,并拆封二层帧头,查看target ip地址,target ip地址是否为自己。因为target ip是pc4的ip地址,此时pc4会将网关e0口与其mac的对应关系写入自己的ARP缓存表,这样减少了设备发送arp广播请求网关e0口的mac的广播报文,提高了网络效率。之后pc4会以单播的方式给网关e0口回应消息,消息内包括pc4的mac地址作为sender mac地址,网关e0口的mac地址作为target地址。Pc4的ip地址作为sender ip地址,网关的ip地址作为target ip地址。

25 交换机sw2收到pc4的回复帧后,读取二层的目标mac地址,并在自己的mac地址表里查询,mac地址表里有该mac地址和端口的对应关系,所以sw2直接将报文从该端口发送出去,同时读出这个二层帧的源mac地址,记录pc4的mac地址和端口1的对应关系到mac地址表中(若原来不存在的话)。

26 路由器的e0口收到pc4的arp回复后将pc4的ip地址和mac地址对应关系写到自己的arp表中,并将pc4的mac地址作为目标mac地址写到待发送的帧内。

27 路由器e0口把帧转换成bit流,在物理从物理接口发出。

28 sw2收到这段bit流,读前6个字节的目标MAC地址,然后查看自己的mac地址表,表中有这个mac地址和端口的对应关系,并且和源mac地址不在同一个端口上。于是sw2把这个二层帧从对应的端口转发出去。

29 pc4接收到这个二层数据帧,查看帧的目标mac地址,和自己相等,说明该帧是发送给自己的,于是将二层帧头解开。

30 pc4查看三层包头,目标ip地址和mask和自己也是相等,于是解开第三层封装。

31 pc4查看传输层报头,目标端口为23,pc4向上层应用查看自己是否开启了端口为23的上层服务。若开启则把传输层报头解封装后将数据送往上层。

来源:http://www.12090603.com