Linux网络IP协议

网络层IP协议

网络层是在复杂的网络环境中确定一个合适的路径.
IP协议本质是提供一种能力，将数据跨网络从A主机传输到B主机。
前置认识

1.首先要对所有主机进行标识：源IP和目的IP进行标识源主机和目的主机。（ip分为共有与私有）
2.ip = 目标网络 + 目标主机（所有网络都是通过子网构成的，一台主机出发的时候会通过路由器到达目标网络，然后再交到目标主机，其中中间会通过很多路由器）
3.网络这个世界是北京新设计过的，就像现实生活中，学生个人的学号，比如学号 = 年级+学院编号+专业编号+班级编号+学生编号，这就像ip一样。
假设有人的钱包丢了，里面有学生证，学生证有自己的学号，交到学院的学生会，学院学生会会交到校学生会，然后根据学号的信息得知该学生在哪个院，哪个专业，哪个班，然后归还给他。（校学生会相当于公网，其他学院学生会相当于子网）
这种方式查找失主特别容易，而查找的本质就是排除，首先排除其他学院，然后是其他专业，其他班级，最后是其他学生。
也就是说网络当时也是，互相传递数据需要查找对方，但是线性排除的效率又太慢，所以有了IP。（查找效率高 == 排除效率高）

IP协议报头

4 位版本号(version): 指定 IP 协议的版本, 对于 IPv4 来说, 就是4。（一般都是固定的）

4 位头部长度(header length): IP 头部的长度是多少个 32bit, 也就是 length 4的字节数. 4bit 表示最大的数字是 15, 因此 IP 头部最大长度是 60 字节.（和TCP报头的首部是一样的计算方式）

8 位服务类型(Type Of Service): 3 位优先权字段(已经弃用), 4 位 TOS 字段, 和1 位保留字段(必须置为 0). 4 位 TOS 分别表示: 最小延时, 最大吞吐量, 最高可靠性, 最小成本. 这四者相互冲突, 只能选择一个. 对于 ssh/telnet 这样的应用程序, 最小延时比较重要; 对于 ftp 这样的程序, 最大吞吐量比较重要.

16 位总长度(total length): IP 数据报整体占多少个字节.

8 位生存时间(Time To Live, TTL): 数据报到达目的地的最大报文跳数. 一般是64. 每次经过一个路由, TTL -= 1, 一直减到 0 还没到达, 那么就丢弃了. 这个字段主要是用来防止出现路由循环.（中间有很多转接设备是必然，网络本质就是电信号传播，线路越长，信号衰减越严重，中间的一些设备就是为了维持信号）

8 位协议: 表示交付给上层协议的类型.

16 位头部校验和: 使用 CRC 进行校验, 来鉴别头部是否损坏.

32 位源地址和 32 位目标地址: 表示发送端和接收端.

选项字段(不定长, 最多 40 字节):和TCP报头的选项是一样的.

两个主机的进程通信是需要得知ip和端口号的，TCP提供端口号，ip提供源ip和目的ip（ip采用点分十进制，大小4字节）
在网络通信过程中，网络是没有TCP层的，只有再各个主机才有TCP层。

网段划分

IP 地址分为两个部分, 网络号和主机号。
网络号: 保证相互连接的两个网段具有不同的标识;
主机号: 同一网段内, 主机之间具有相同的网络号, 但是必须有不同的主机号。
路由器的特性

1.路由器本质也是特定的一个子网主机，也是要配置ip。
2.路由器一定至少要连接两个子网，路由器相当于同时再两个子网当中。（也就是说路由器可以配置多个ip，可以认为路由器有多个网卡）
3.路由器一般是一个子网中的第一台设备，一般他的ip地址都是：网络号.1
4.路由器的功能，ip报文的转发，构建子网（局域网），比如我们新添加的设备连接无线网之前都会先连接路由器认证，然后路由器给这台设备分配ip；并且这个网也叫做内网。（有一种技术叫做 DHCP, 能够自动的给子网内新增主机节点分配 IP 地址, 避免了手动管理 IP 的不便；一般的路由器都带有DHCP 功能. 因此路由器也可以看做一个 DHCP 服务器.）

过去曾经提出一种划分网络号和主机号的方案, 把所有 IP 地址分为五类, 如下图所示(该图出自[TCPIP])。

A 类 0.0.0.0 到 127.255.255.255
B 类 128.0.0.0 到 191.255.255.255
C 类 192.0.0.0 到 223.255.255.255
D 类 224.0.0.0 到 239.255.255.255
E 类 240.0.0.0 到 247.255.255.255
这种一般都是各种组织或者国家去申请ip。

随着 Internet 的飞速发展,这种划分方案的局限性很快显现出来,大多数组织都申请 B 类网络地址, 导致 B 类地址很快就分配完了, 而 A 类却浪费了大量地址;

例如, 申请了一个 B 类地址, 理论上一个子网内能允许 6 万 5 千多个主机. A 类地址的子网内的主机数更多.。
然而实际网络架设中, 不会存在一个子网内有这么多的情况. 因此大量的 IP 地址都被浪费掉了。

但是在这个时代，ipv4已经不足了，针对这种情况提出了新的划分方案, 称为 CIDR(Classless Interdomain Routing):

引入一个额外的子网掩码(subnet mask)来区分网络号和主机号;（在路由器当中）
子网掩码也是一个 32 位的正整数. 通常用一串 “0” 来结尾; （都是从左向右填写1的）
将 IP 地址和子网掩码进行 “按位与” 操作, 得到的结果就是网络号;
网络号和主机号的划分与这个 IP 地址是 A 类、B 类还是 C 类无关;

划分子网的例子1：
IP地址：140.252.20.68——8C FC 14 44
子网掩码：255.255.255.0——FF FF FF 00
网络号：140.252.20.0——8C FC 14 00
子网地址范围：140.252.20.0~140.252.20.255（实际上能划分主机号的个数是255-2）
140.252.20.0是网络号，140.252.20.255是广播地址，用于给同一个链路中相互连接的所有主机发送数据包;。
127.*的 IP 地址用于本机环回(loop back)测试,通常是 127.0.0.1
划分子网的例子2：
IP地址：140.252.20.68——8C FC 14 44
子网掩码：255.255.255.240——FF FF FF FO
网络号：140.252.20.64——8C FC 14 40
子网地址范围：140.252.20.64~140.252.20.79

CIDR 在一定程度上缓解了 IP 地址不够用的问题(提高了利用率, 减少了浪费, 但是 IP地址的绝对上限并没有增加), 仍然不是很够用. 这时候有三种方式来解决:

动态分配 IP 地址: 只给接入网络的设备分配 IP 地址. 因此同一个 MAC 地址的设备, 每次接入互联网中, 得到的 IP 地址不一定是相同的;
NAT 技术(后面说)
IPv6: IPv6 并不是 IPv4 的简单升级版. 这是互不相干的两个协议, 彼此并不兼容; IPv6 用 16 字节 128 位来表示一个 IP 地址; 但是目前 IPv6 还没有普及;

私有 IP 地址和公网 IP 地址

如果一个组织内部组建局域网,IP 地址只用于局域网内的通信,而不直接连到 Internet 上, 理论上使用任意的 IP 地址都可以,但是 RFC 1918 规定了用于组建局域网的私有 IP 地址。

10.*,前 8 位是网络号,共 16,777,216 个地址
• 172.16.*到 172.31.*,前 12 位是网络号,共 1,048,576 个地址
• 192.168.*,前 16 位是网络号,共 65,536 个地址

包含在这个范围中的, 都成为私有 IP, 其余的则称为全局 IP(或公网 IP).
在日常生活中，我们大部分用到的都是私有ip。

运营商

我们是如何上网的？
首先，将光纤（也就是网线）拉到自己家里，然后连接到光猫（也叫做调制解调器），光猫的作用是数字信号与模拟信号相互转换，然后连接到路由器，将数字信号交给路由器，之后家里交钱给运营商，然后这台路由器的账号和密码也就被认证了，在想访问外网就要被运营商拦截查看，发现这个账户交过钱就放行。
但是这个路由器也怕被外人访问，所以路由器本身也会创建一个身份认证，设置账号与密码，家里的设备连接到路由器就需要输入账号和密码。
IP地址划分
划分的方式可能是前几位是国家划分，然后是省划分，市划分，区划分。
假设从国外想访问国内的某个IP地址，传过来一个IP，首先所有国家都会通过路由器的子网掩码来查看是不是自己国家的，国内发现是自己的，就拿进来然后通过传输下去，各个省开始用路由器的子网掩码查看是不是自己省的，以此类推就会到达目标地址。
这些就叫做公网ip。
访问外网流程

假设我的ip地址是192.168.1.201，目标地址是122.77.241.3，通过家里路由器是怎么交到外网的呢？
首先会在自己家里路由器进行源ip替换，源ip替换成10.1.1.2，然后在交给运营商的路由器再次进行ip替换成122.77.241.4，最后找到了目标地址。
在这个过程中，私有ip不断被替换，这就叫做NAT技术。
共有+私有 = 互联网
在运营商的子网内全都是私有ip，运营商里面就是内网。

不同的内网当中，ip地址是有完全相同的，并且不会冲突，这样也解决了IP地址不足的问题。
所以我们访问各种外网就需要经过运营商，翻墙的墙也在运营商里，我们发送的请求运营商会进行检测，如果发现是访问国外的报文就行进行丢弃，翻墙就是越过运营商检测的行为。

路由器当中有个叫做路由表的，Linux机器下查看路由表的指令是：

route

Destination：目标网络
Gateway：下一跳路由器
Genmask：子网掩码
Flags：U代表正在使用，G代表是路由器
Iface：本地网络接口（想发送的时候就通过这接口发送过去）
在寻找目标网络的时候，目标主机ip&Genmask 看是否等于Destination，如果当前路由表的这一行不相同就换到下一行。

查询路由表的结果无非就三种：

1.给具体的下一跳
2.路由器不清楚，但是会转入默认的路由器（当前路由器会判断出不是自己内网的地址，转交给同网段的另一台路由器，这台路由器是这个内网的出口）
3.到达路由器入口（说明目标IP地址就在这台路由器的内部）

因为IP=目标网络+目标主机，我们在进行转发的时候，我们先到达目标网络。

可是运营商如何发送消息给我们的呢？这个在下面会说明。

P分片

实际上，在一台主机中，报文并没有通过网络层直接发出去（只是去寻找了要发送的主机），而是继续交给了自己的下一层协议（数据链路）——数据链路层一次不能发送过大的报文，也就是上层不能给发送过大的报文。（要求IP分片发送，对方的IP层组装）

上面报头这一层就是IP分片和组装的字段。
16 位标识(id): 唯一的标识主机发送的报文. 如果 IP 报文在数据链路层被分片了, 那么每一个片里面的这个 id 都是相同的.
3 位标志字段: 第一位保留(保留的意思是现在不用, 但是还没想好说不定以后要用到). 第二位置为 1 表示禁止分片,0是允许分片. 第三位表示如果结束标记（当前是否为最后一个小分片）是的话置为1，不是为0.
13 位分片偏移(framegament offset): 是分片相对于原始 IP 报文开始处的偏移. 其实就是在表示当前分片在原报文中处在哪个位置. 实际偏移的字节数是这个值 8得到的. 因此, 除了最后一个报文之外, 其他报文的长度必须是 8 的整数倍(否则报文就不连续了).
如何组装分片？
确保将分片全部聚集到一起（相同的标识），分片偏移排序。（完成组装）

那么如何确认收到的是分片呢？首先看片偏移的数据，如果不为0肯定是分片，可如果是开头呢？那就看3位标志的最后一位，开头的分片肯定不为0，因为0是分片的结尾。

如果中途有丢失的分片怎么办呢？
1.丢第一个，没有一个片偏移是0的就会被发现
2.丢中间片，偏移不连贯就会发现，比如片偏移是1500，两个片拼在一起，第一个是0，第二个是3000。
3.丢最后一个，没有一个结束标记为0就知道是最后一个丢了。

注意：分片行为并不被建议，因为在ip当中，任何一个分片丢失了，也就代表组装失败了，整体报文都要被丢弃，进行重发。（并且可能增加丢包概率）
数据举例分片

整个报文是3000字节，报头是20，剩下的数据是2980.
按照每个分片偏移1500来进行分片：（这里要注意，每个分片其实都会携带报头）

拼接的时候，处理开头的报头，剩下的报头都去掉，然后进行拼接。

数据链路层

数据链路层主要解决的是，直接相连的主机（电脑，路由器等设备）之间，进行数据交付的问题，IP地址虽然是网络方面的寻找，但是在在寻找的时候，也要通过路由器进行“问路”（也就是跳一跳）。
所谓 “一跳” 就是数据链路层中的一个区间. 具体在以太网中指从源 MAC 地址到目的MAC 地址之间的帧传输区间。
MAC地址：每一台主机都会有，作用是区分在同一个局域网当中的特定主机。

以太网报头（也叫MAC报头）

源地址和目的地址是指网卡的硬件地址(也叫 MAC 地址), 长度是 48 位,是在网卡出厂时固化的;
帧协议类型字段有三种值,分别对应 IP、ARP、RARP;
帧末尾是 CRC 校验码。

那么MAC帧（也就是以太网帧）如何做到解包和封装呢？
解包：通过定长报头，将目的地址，源地址，类型，CRC进行分离。
封装就是加上这些。

如何做到分用？
在报头当中的类型是可以决定数据当中里面存放的是什么，0800就是IP数据报，0806是ARP请求，0835是RARP请求。

MAC 地址描述的是路途上的每一个区间的起点和终点。
在局域网通信的过程中，我们清楚的知道，每次只能由少部分主机进行发消息，不然会发生数据碰撞。（交换机和算法都可以让多态数据同时发送消息而不碰撞）
这台主机通过广播的形式发送数据，然后MAC地址相同的接收。
而且主机拿到报文的时候，其实是数据链路层拿到了，拿到之后先将MAC帧解包才会继续向上交付，也就是说MAC帧报头只会在数据链路层有效。
还有一点要注意，因为局域网容易发生数据碰撞，所以就要减少数据的长度从而降低碰撞的概率，数据部分的范围是46~1500字节。

刚才说过分片不建议，如何才能减少呢？
这个问题根源在于TCP，而且上面说过MAC帧数据部分不要超过1500，那么去掉IP报头20，去掉TCP报头20，就剩下1460，这个范围就是TCP报文当中数据的最大长度，每次报文只要控制在1600字节之内就可以了，1460这个数据叫做MSS，这就是为什么TCP报文当中的数据为什么还有分段的行为，是因为有MSS在约束。（并且在双方通信的时候，TCP三次握手的时候MSS也会进行协商通信，统一分片组装更加容易）

ARP协议

所谓发送数据到目标网络，本质都是通过无数个连续的子网实现的。

假设这个时候，主机A给主机B发送数据，主机A发送的报文已经到了路由器D这里，要给主机B的时候，发现并没有B的MAC地址，只有IP地址，也就没有办法找到主机B。（因为在路由器当中知道主机B就在这里，但是要交付给主机B的时候要重新封装MAC帧的报头）

所以，数据链路层就有一个叫做ARP协议，这个协议实在数据链路层，工作是在局域网中将IP地址转化成MAC地址。
ARP原理

ARP报头

硬件类型指链路层网络类型,1 为以太网;
协议类型指要转换的地址类型,0x0800 为 IP 地址;
硬件地址长度对于以太网地址为 6 字节;
协议地址长度对于和 IP 地址为 4 字节;
op 字段为 1 表示 ARP 请求,op 字段为 2 表示 ARP 应答。

那么ARP协议如何拿到目标IP的MAC地址呢？
假设A主机要拿到B主机的地址：
在网络层，报文的报头当中会添加自己的IP和MAC地址，还有B主机的IP，MAC地址为FFFF…（全F）。然后op字段变成1，然后交付给数据链路层，封装MAC帧报头，以太网源地址是自己的MAC，以太网目的地址设置为FFFFFF…（全F，意思是为广播MAC帧），类型变成0806.
然后这个报文会流向局域网，这个局域网当中的每台主机都会处理这个报文。处理的时候，首先看类型是0806，然后MAC帧和有效载荷分离，在向上交付给ARP软件层，ARP层先看op字段，是请求还是应答，最后再看IP（目的地址），如果不是就会将这个报文进行丢弃；如果IP相同，主机B就会对这个ARP请求就会进行应答，先将op字段改成2，然后填写自己的MAC地址，并且更改源IP和目的IP地址，然后向下交付进行MAC帧封装，将MAC帧的源地址改成自己的MAC地址，目标MAC地址改成A主机的MAC地址。
之后B主机将这个报文发送给A主机，A主机接收之后，发现MAC帧层当中报头的类型是0806，然后会将这个报文进行解包交付给ARP层，先看op，发现是应答，最后提取发送端IP和MAC的地址，就知道了B主机的MAC地址。（应答的过程中是不会让局域网当中的其他主机拿到这个报文的，因为数据链路层会看到目的MAC地址不是自己）
总结：arp层拿到报文先看op。op决定了arp的类型，如果是请求就会看目的地址，如果是应答就会看发送地址。

ARP周边问题

1.arp之后，主机的MAC地址和IP地址，会被主机临时缓存起来。
这说明，不是每次通信之前都要进行ARP，ARP一次之后就会缓存，之后缓存失效的时候才会再次进行缓存。
2.在同一个局域网中，可以通过自己的IP和子网掩码得到网络号，然后拼接IP地址（遍历主机号为1-254），ping所有的主机，得到所有主机的MAC和IP地址。
3.如果收到很多次同样的ARP应答，那么就会以最新的为准。

ARP欺骗

假设一开始主机A和路由器进行通信，突然，中间人伪造了一份ARP请求，IP显示是ip:R,但是MAC地址是M；然后疯狂的向主机A发送ARP应答，主机A就会以为是路由器更新了MAC地址，然后将主机A映射的MAC地址进行更替，然后主机A每次访问都是到达中间人这里，也就会导致无法上网。

这样以后主机A的所有报文全都给了中间人，如果不想让他上网，就丢弃他的报文，如果想窃取信息，就可以让中间人与路由器进行沟通（用自己的ip和mac通过arp协议与路由器通信），然后将主机A的报文数据转接给路由器，或者是也通过arp欺骗伪造IPA的MAC地址，换成自己的M地址，这样主机A和路由器都不知道中间人的存在。

DNS

DNS 是一整套从域名映射到 IP 的系统。
DNS 背景
TCP/IP 中使用 IP 地址和端口号来确定网络上的一台主机的一个程序. 但是 IP 地址不方便记忆. 于是人们发明了一种叫主机名的东西, 是一个字符串, 并且使用 hosts 文件来描述主机名和 IP 地址的关系.

最初, 通过互连网信息中心(SRI-NIC)来管理这个 hosts 文件的.
如果一个新计算机要接入网络, 或者某个计算机 IP 变更, 都需要到信息中心申请变更 hosts 文件.
其他计算机也需要定期下载更新新版本的 hosts 文件才能正确上网. 这样就太麻烦了, 于是产生了 DNS 系统.
一个组织的系统管理机构, 维护系统内的每个主机的 IP 和主机名的对应关系.
如果新计算机接入网络, 将这个信息注册到数据库中;
用户输入域名的时候, 会自动查询 DNS 服务器, 由 DNS 服务器检索数据库, 得到对应的 IP 地址.
至今, 我们的计算机上仍然保留了 hosts 文件. 在域名解析的过程中仍然会优先查找hosts 文件的内容.

cat /etc/hosts

域名简介
主域名是用来识别主机名称和主机所属的组织机构的一种分层结构的名称。

com: 一级域名. 表示这是一个企业域名. 同级的还有 “net”(网络提供商), “org”(非盈利组织) 等.
baidu: 二级域名, 公司名.
www: 只是一种习惯用法. 之前人们在使用域名时, 往往命名成类似于ftp.xxx.xxx/www.xxx.xxx 这样的格 式, 来表示主机支持的协议.

域名解析

ICMP协议

CMP 协议是一个 网络层协议
一个新搭建好的网络, 往往需要先进行一个简单的测试, 来验证网络是否畅通; 但是 IP协议并不提供可靠传输. 如果丢包了, IP 协议并不能通知传输层是否丢包以及丢包的原因.

ICMP 功能
ICMP 正是提供这种功能的协议; ICMP 主要功能包括: • 确认 IP 包是否成功到达目标地址.
通知在发送过程中 IP 包被丢弃的原因.
ICMP 也是基于 IP 协议工作的. 但是它并不是传输层的功能, 因此人们仍然把它归结为网络层协议;
ICMP 只能搭配 IPv4 使用. 如果是 IPv6 的情况下, 需要使用 ICMPv6;
ping的端口是什么？
ping 命令基于 ICMP, 是在网络层. 而端口号, 是传输层的内容. 在 ICMP 中根本就不关注端口号这样的信息.
traceroute 命令
也是基于 ICMP 协议实现, 能够打印出可执行程序主机, 一直到目标主机之前经历多少路由器.

NAT技术

上面说过，像访问外网就要在内网当中不断替换IP地址，直到运营商的路由器，再次进行IP替换才可以访问外网，但是如何回来成了一个谜题。
之前我们讨论了, IPv4 协议中, IP 地址数量不充足的问题
NAT 技术当前解决 IP 地址不够用的主要手段, 是路由器的一个重要功能;
NAT 能够将私有 IP 对外通信时转为全局 IP. 也就是就是一种将私有 IP 和全局IP 相互转化的技术方法:
很多学校, 家庭, 公司内部采用每个终端设置私有 IP, 而在路由器或必要的服务器上设置全局 IP;
全局 IP 要求唯一, 但是私有 IP 不需要; 在不同的局域网中出现相同的私有 IP是完全不影响的;
NAT IP 转换过程

NAT 路由器将源地址从 10.0.0.10 替换成全局的 IP 202.244.174.37; • NAT 路由器收到外部的数据时, 又会把目标 IP 从 202.244.174.37 替换回10.0.0.10;
在 NAT 路由器内部, 有一张自动生成的, 用于地址转换的表;
当 10.0.0.10 第一次向 163.221.120.9 发送数据时就会生成表中的映射关系;

NAPT
如果局域网内, 有多个主机都访问同一个外网服务器, 那么对于服务器返回的数据中, 目的 IP 都是相同的. 那么 NAT 路由器如何判定将这个数据包转发给哪个局域网的主机?
这时候 NAPT 来解决这个问题了. 使用 IP+port 来建立这个关联关系：

这种关联关系也是由 NAT 路由器自动维护的. 例如在 TCP 的情况下, 建立连接时, 就会生成这个表项; 在断开连接后, 就会删除这个表项。
并且，在右边的图我们发现，NAT再替换的时候不仅仅是IP，端口也会被替换。
这样，消息从外网发过来的时候就会在这个表中进行查询对应的IP和端口，替换之后进入内网寻找目的主机。
NAT 技术的缺陷
由于 NAT 依赖这个转换表, 所以有诸多限制:
无法从 NAT 外部向内部服务器建立连接;
装换表的生成和销毁都需要额外开销;
通信过程中一旦 NAT 设备异常, 即使存在热备, 所有的 TCP 连接也都会断开;
内网穿透——FRP

我们如何让这两台主机进行通信呢？
先让右边的主机在服务器上进行TCP长连接，然后左边的主机通过服务器，进行端口映射，服务器通过TCP连接将左侧主机的消息传递给右侧主机。

代理

在学校的时候，我们可以连接校园网，然后可以正常上网。

首先登录认证，认证成功后，只要使用校园网，就要通过学校的服务器，然后这个服务器帮我们把报文发送给访问的目的地，也就是说，我们发送的报文学校服务器都知道，之前的有些学校的ssh协议请求会屏蔽，然后换成自己的热点就不会被拦截。
而且，有的服务器还会再内网搭建一个网站，比如说，曾经有用户想看XX电影，然后通过服务器传输过来，学校也能获取到这个电影，就将这个电影内置在了自己的服务器，以后谁在想看这个网站的电影就可以直接看了。
我们将这种服务器叫做代理服务器，替客户代理叫做正向代理。

如果遇到这种情况呢？
一个公司有10台服务器，但是用户就喜欢盯着一台去访问，这样导致分配不均衡，压力过大，并且资源浪费，所以也可以用代理服务器来进行分配：（只做请求的转发，通过某种策略均匀的给后端的服务器上）

这种代理叫做反向代理。（这种生活种不常见，主要是在企业当中实现负载均衡）
简单了解翻墙

之前说过，像访问国外的网站运营商不允许，但是用户可以通过先访问特殊地区的服务器，让这个服务器为我们代理访问国外的网站，但是因为这个服务器也是运营商提供的，所以运营商也是有办法识别用户的报文进行拦截的，这个问题可以通过加密报文来躲过检查。——这里用的也就是正向代理。
并且，这里的加密是加密http当中数据部分，http不关心除自己报头的数据携带的是什么，这个技术叫做http隧道技术。（类似这个技术的有Socks5）