深入浅出DPDK 下载 mobi epub pdf 电子书 2024

编辑推荐

挑战网络性能极限 ，资深开发者伴你在DPDK的世界中成长。展现软件优化的极*魅力，百万兆高性能网络就在身边。剖析数据面软件中的核心算法和关键技术 全面展示DPDK与 NFV的深度融合

难得的NFV数据面软件书籍，
　　全面系统地阐述硬件平台和数据面软件中一系列关键技术。
　　权*的数据面软件开发指南，
　　深入剖析核心算法的原理及详尽的DPDK编程实践。
　　前沿的数据面产业应用和动向
　　全面介绍DPDK与 NFV、软件存储等领域的深度融合的案例。

内容简介

近年来，随着网络技术的不断创新和市场的发展，越来越多的网络设备基础架构开始向基于通用处理器平台的架构方向融合，期望用更低的成本和更短的产品开发周期来提供多样的网络单元和丰富的功能，如应用处理、控制处理、包处理、信号处理等。为了适应这一新的产业趋势， 英特尔公司联合第三方软件开发公司及时推出了基于Intel® x86架构的DPDK (Data Plane Development Kit，数据平面开发套件)，实现了高效灵活的包处理解决方案。经过近6年的发展DPDK已经发展成支持多种高性能网卡和多通用处理器平台的开源软件工具包，并已成为通用处理器平台上影响力*大的数据平面解决方案。
　　本书汇聚了资深的DPDK技术专家的精辟见解和实战体验，详细介绍了DPDK技术发展趋势、数据包处理、硬件加速技术、包处理和虚拟化 ，以及DPDK 技术在SDN、NFV、网络存储等领域的实际应用。书中还使用大量的篇幅讲解各种核心软件算法、先进的数据优化思想、大量详尽的实战心得和使用指南。作为国内*一本全面阐述网络数据面的核心技术的书籍，本书主要面向IT、网络通讯行业的从业人员，以及大专院校的学生，用通俗易懂的文字打开了一扇通向新一代网络处理架构的大门。

作者简介

朱河清 现为英特尔DPDK与Hyperscan软件经理，在Intel、Alcatel、Huawei、Lucent有15年通信网络设备研发与开源软件开发经验。
梁存铭 英特尔资深软件工程师，在计算机网络领域具有丰富的实践开发经验，提交多项美国专利。作为DPDK早期贡献者之一，在PCIe 高性能加速、I/O虚拟化、IA指令优化、协议栈优化等方面有较深入的研究。
胡雪焜 现为英特尔网络通讯平台部门应用工程师，主要研究底层虚拟化技术和基于IA架构的数据面性能优化, 以及对网络演进的影响，具有丰富的SDN/NFV商业实践。
曹水 现为英特尔软件经理，从事嵌入式开发和软件行业超过15年，主要负责DPDK软件测试工作。

精彩书评

当前，一场全新的网络技术革新正在如火如荼地展开，其焦点在于如何给通信企业、云服务商提供更具性价*的方案和更灵活的服务，而软件的创新正是推动这场革新的核心动力。经过多年的发展，DPDK已经成为事实上的数据面软件的标准，支持多个主流处理器架构，并已经拥有上百个成功的商业部署。英特尔公司非常荣幸能够作为这次网络技术变革的领导者，帮助用户打造具备高性能和灵活功能的产品。
　　——Sandra Rivera，英特尔数据中心网络平台事业部总裁
　　
　　英特尔平台在软件优化方面拥有巨大的潜力，DPDK是一个非常出色的例子。过去10年是我人生中尤为珍贵的旅程，我有幸主持DPDK开发计划，亲眼见证DPDK从最初一个很小的软件库起步，逐步完善原型设计，获得客户认可。伴随着多核时代和高速以太网时代的到来，DPDK在电信业、云计算和企业服务中掀起了一股网络技术革新的浪潮。在未来几年，我们即将看到全行业开源步伐加快，最近思科公司VPP在www.fd.io发布是一个优秀的实践。我们很幸运，能够成为网络技术革新的领导者。
　　——St Leger Jim，英特尔网络事业部软件产品总监
　　
　　软件正在改变世界，DPDK这样的开源软件展示了软件在高速的网络报文处理中的魅力。本书能够帮助广大学生在系统地学习理论知识的同时紧密联系实际工程和应用，具有相当不错的参考价值。
　　——金耀辉教授，上海交通大学网络中心

目录

序　　言
引　　言
作者介绍
第一部分　DPDK基础篇
第1章　认识DPDK 3
1.1　主流包处理硬件平台 3
1.1.1　硬件加速器 4
1.1.2　网络处理器 4
1.1.3　多核处理器 5
1.2　初识DPDK 7
1.2.1　IA不适合进行数据包处理吗 7
1.2.2　DPDK最佳实践 9
1.2.3　DPDK框架简介 10
1.2.4　寻找性能优化的天花板 11
1.3　解读数据包处理能力 12
1.4　探索IA处理器上最艰巨的任务 13
1.5　软件包处理的潜力——再识DPDK 14
1.5.1　DPDK加速网络节点 14
1.5.2　DPDK加速计算节点 15
1.5.3　DPDK加速存储节点 15
1.5.4　DPDK的方法论 16
1.6　从融合的角度看DPDK 16
1.7　实例 17
1.7.1　HelloWorld 17
1.7.2　Skeleton 19
1.7.3　L3fwd 22
1.8　小结 25
第2章　Cache和内存 26
2.1　存储系统简介 26
2.1.1　系统架构的演进 26
2.1.2　内存子系统 28
2.2　Cache系统简介 29
2.2.1　Cache的种类 29
2.2.2　TLB Cache 30
2.3　Cache地址映射和变换 31
2.3.1　全关联型Cache 32
2.3.2　直接关联型Cache 32
2.3.3　组关联型Cache 33
2.4　Cache的写策略 34
2.5　Cache预取 35
2.5.1　Cache的预取原理 35
2.5.2　NetBurst架构处理器上的预取 36
2.5.3　两个执行效率迥异的程序 37
2.5.4　软件预取 38
2.6　Cache一致性 41
2.6.1　Cache Line对齐 41
2.6.2　Cache一致性问题的由来 42
2.6.3　一致性协议 43
2.6.4　MESI协议 44
2.6.5　DPDK如何保证Cache一致性 45
2.7　TLB和大页 47
2.7.1　逻辑地址到物理地址的转换 47
2.7.2　TLB 48
2.7.3　使用大页 49
2.7.4　如何激活大页 49
2.8　DDIO 50
2.8.1　时代背景 50
2.8.2　网卡的读数据操作 51
2.8.3　网卡的写数据操作 53
2.9　NUMA系统 54
第3章　并行计算 57
3.1　多核性能和可扩展性 57
3.1.1　追求性能水平扩展 57
3.1.2　多核处理器 58
3.1.3　亲和性 61
3.1.4　DPDK的多线程 63
3.2　指令并发与数据并行 66
3.2.1　指令并发 67
3.2.2　单指令多数据 68
3.3　小结 70
第4章　同步互斥机制 71
4.1　原子操作 71
4.1.1　处理器上的原子操作 71
4.1.2　Linux内核原子操作 72
4.1.3　DPDK原子操作实现和应用 74
4.2　读写锁 76
4.2.1　Linux读写锁主要API 77
4.2.2　DPDK读写锁实现和应用 78
4.3　自旋锁 79
4.3.1　自旋锁的缺点 79
4.3.2　Linux自旋锁API 79
4.3.3　DPDK自旋锁实现和应用 80
4.4　无锁机制 81
4.4.1　Linux内核无锁环形缓冲 81
4.4.2　DPDK无锁环形缓冲 82
4.5　小结 89
第5章　报文转发 90
5.1　网络处理模块划分 90
5.2　转发框架介绍 91
5.2.1　DPDK run to completion模型 94
5.2.2　DPDK pipeline模型 95
5.3　转发算法 97
5.3.1　精确匹配算法 97
5.3.2　最长前缀匹配算法 100
5.3.3　ACL算法 102
5.3.4　报文分发 103
5.4　小结 104
第6章　PCIe与包处理I/O 105
6.1　从PCIe事务的角度看包处理 105
6.1.1　PCIe概览 105
6.1.2　PCIe事务传输 105
6.1.3　PCIe带宽 107
6.2　PCIe上的数据传输能力 108
6.3　网卡DMA描述符环形队列 109
6.4　数据包收发——CPU和I/O的协奏 111
6.4.1　全景分析 111
6.4.2　优化的考虑 113
6.5　PCIe的净荷转发带宽 113
6.6　Mbuf与Mempool 114
6.6.1　Mbuf 114
6.6.2　Mempool 117
6.7　小结 117
第7章　网卡性能优化 118
7.1　DPDK的轮询模式 118
7.1.1　异步中断模式 118
7.1.2　轮询模式 119
7.1.3　混和中断轮询模式 120
7.2　网卡I/O性能优化 121
7.2.1　Burst收发包的优点 121
7.2.2　批处理和时延隐藏 124
7.2.3　利用Intel SIMD指令进一步并行化包收发 127
7.3　平台优化及其配置调优 128
7.3.1　硬件平台对包处理性能的影响 129
7.3.2　软件平台对包处理性能的影响 133
7.4　队列长度及各种阈值的设置 136
7.4.1　收包队列长度 136
7.4.2　发包队列长度 137
7.4.3　收包队列可释放描述符数量阈值（rx_free_thresh） 137
7.4.4　发包队列发送结果报告阈值（tx_rs_thresh） 137
7.4.5　发包描述符释放阈值（tx_free_thresh） 138
7.5　小结 138
第8章　流分类与多队列 139
8.1　多队列 139
8.1.1　网卡多队列的由来 139
8.1.2　Linux内核对多队列的支持 140
8.1.3　DPDK与多队列 142
8.1.4　队列分配 144
8.2　流分类 144
8.2.1　包的类型 144
8.2.2　RSS 145
8.2.3　Flow Director 146
8.2.4　服务质量 148
8.2.5　虚拟化流分类方式 150
8.2.6　流过滤 150
8.3　流分类技术的使用 151
8.3.1　DPDK结合网卡Flow Director功能 152
8.3.2　DPDK结合网卡虚拟化及Cloud Filter功能 155
8.4　可重构匹配表 156
8.5　小结 157
第9章　硬件加速与功能卸载 158
9.1　硬件卸载简介 158
9.2　网卡硬件卸载功能 159
9.3　DPDK软件接口 160
9.4　硬件与软件功能实现 161
9.5　计算及更新功能卸载 162
9.5.1　VLAN硬件卸载 162
9.5.2　IEEE1588硬件卸载功能 165
9.5.3　IP TCP/UDP/SCTP checksum硬件卸载功能 167
9.5.4　Tunnel硬件卸载功能 168
9.6　分片功能卸载 169
9.7　组包功能卸载 170
9.8　小结 172
第二部分　DPDK虚拟化技术篇
第10章　X86平台上的I/O虚拟化 175
10.1　X86平台虚拟化概述 176
10.1.1　CPU虚拟化 176
10.1.2　内存虚拟化 177
10.1.3　I/O虚拟化 178
10.2　I/O透传虚拟化 180
10.2.1　Intel? VT-d简介 180
10.2.2　PCIe SR-IOV概述 181
10.3　PCIe网卡透传下的收发包流程 183
10.4　I/O透传虚拟化配置的常见问题 184
10.5　小结 184
第11章　半虚拟化Virtio 185
11.1　Virtio使用场景 185
11.2　Virtio规范和原理 186
11.2.1　设备的配置 187
11.2.2　虚拟队列的配置 190
11.2.3　设备的使用 192
11.3　Virtio网络设备驱动设计 193
11.3.1　Virtio网络设备Linux内核驱动设计 193
11.3.2　基于DPDK用户空间的Virtio网络设备驱动设计以及性能优化 196
11.4　小结 198
第12章　加速包处理的vhost优化方案 199
12.1　vhost的演进和原理 199
12.1.1　Qemu与virtio-net 199
12.1.2　Linux内核态vhost-net 200
12.1.3　用户态vhost 201
12.2　基于DPDK的用户态vhost设计 201
12.2.1　消息机制 202
12.2.2　地址转换和映射虚拟机内存 203
12.2.3　vhost特性协商 204
......

前言/序言

　　引言
　　动机
　　2015年4月，第一届DPDK中国峰会在北京成功召开。来自中国移动、中国电信、阿里巴巴、IBM、Intel、华为以及中兴的专家朋友登台演讲，一起分享了以DPDK为中心的技术主题。表1列出了2015DPDK中国峰会的主题及演讲者。
　　表12015DPDK中国峰会主题及演讲者主题演讲者公司利用DPDK加速NFV邓辉中国移动利用DPDK优化云基础设施孙成浩阿里巴巴构建core以及高能效应用的最佳实践梁存铭Intel基于英特尔ONP构建虚拟化的IP接入方案欧亮中国电信DPDK加速无线数据核心网络陈东华中兴电信业务场景下的数据面挑战刘郡华为运行于Power架构下的DPDK和数据转发祝超IBM这次会议吸引了来自各行业、科研单位与高校的200多名开发人员、专家和企业代表参会。会上问答交流非常热烈，会后我们就想，也许是时间写一本介绍DPDK、探讨NFV数据面的技术书籍。现在，很多公司在招聘网络和系统软件人才时，甚至会将DPDK作为一项技能罗列在招聘要求中。DPDK从一个最初的小众技术，经过10年的孕育，慢慢走来，直至今日已经逐渐被越来越多的通信、云基础架构厂商接受。同时，互联网上也出现不少介绍DPDK基础理论的文章和博客，从不同的角度对DPDK技术进行剖析和应用，其中很多观点非常新颖。作为DPDK的中国开发团队人员，我们意识到如果能够提供一本DPDK的书籍，进行一些系统性的梳理，将核心的原理进行深入分析，可以更好地加速DPDK技术的普及，触发更多的软件创新，促进行业的新技术发展。于是，就萌发了写这本书的初衷。当然，我们心里既有创作的激动骄傲，也有些犹豫忐忑，写书不是一件简单的事情，但经过讨论和考量，我们逐渐变得坚定，这是一本集结团队智慧的尝试。我们希望能够把DPDK的技术深入浅出地解释清楚，让更多的从业人员和高校师生了解并使用DPDK，促进DPDK发展日新月异，兴起百家争鸣的局面，这是我们最大的愿景。
　　多核2005年的夏天，刚加入Intel的我们畅想着CPU多核时代的到来给软件业带来的挑战与机会。如果要充分利用多核处理器，需要软件针对并行化做大量改进，传统软件的并行化程度不高，在多核以前，软件依靠CPU频率提升自动获得更高性能。并行化改进不是一件简单的工作，许多软件需要重新设计，基本很难在短期实现，整个计算机行业都对此纠结了很久。2005年以前，整个CPU的发展历史，是不断提升芯片运算频率核心的做法，软件性能会随着处理器的频率升高，即使软件不做改动，性能也会跟着上一个台阶。但这样的逻辑进入多核时代已无法实现。首先我们来看看表2所示的Intel?多核处理器演进。
　　表2Intel?多核处理器演进的历史图表Xeon处理器代码制造工艺最大核心数量发布时间超线程双路服务器可使用核心数量WoodCrest65nm??22006年6月否??4Nehalem-EP45nm??42009年7月是16Westmere-EP32nm??62010年2月是24SandyBridge-EP32nm??82012年3月是32IvyBridge-EP22nm122013年9月是48Haswell-EP22nm182014年9月是72在过去10年里，服务器平台的处理器核心数目扩展了很多。表2参考了英特尔至强系列的处理器的核心技术演进历史，这个系列的处理器主要面向双通道（双路）服务器和相应的硬件平台。与此同时，基于MIPS、Power、ARM架构的处理器也经历着类似或者更加激进的并行化计算的路线图。在处理器飞速发展的同时，服务器平台在硬件技术上提供了支撑。基于PCIExpress的高速IO设备、内存访问与带宽的上升相辅相成。此外，价格和经济性优势越发突出，今天一台双路服务器的价格可能和10年前一台高端笔记本电脑的价格类似，但计算能力达到甚至超越了当年的超级计算机。强大的硬件平台为软件优化技术创新蕴蓄了温床。
　　以太网接口技术也经历了飞速发展。从早期主流的10Mbit/s与100Mbit/s，发展到千兆网（1Gbit/s）。到如今，万兆（10Gbit/s）网卡技术成为数据中心服务器的主流接口技术，近年来，Intel等公司还推出了40Gbit/s、100Gbit/s的超高速网络接口技术。而CPU的运行频率基本停留在10年前的水平，为了迎接超高速网络技术的挑战，软件也需要大幅度创新。
　　结合硬件技术的发展，DPDK（DataPlaneDevelopmentKit），一个以软件优化为主的数据面技术应时而生，它为今天NFV技术的发展提供了绝佳的平台可行性。
　　IXP提到硬件平台和数据面技术，网络处理器是无法绕过的话题。电信行业通常使用网络处理器或类似芯片技术作为数据面开发平台首选。Intel此前也曾专注此领域，2002年收购了DEC下属的研究部门，在美国马萨诸塞州哈德逊开发了这一系列芯片，诞生了行业闻名的IntelExchangeArchitectureNetworkProcessor（IXP4xx、IXP12xx、IXP24xx、IXP28xx）产品线，曾取得行业市场占有率第一的成绩。即使今日，相信很多通信业的朋友，还对这些处理器芯片有些熟悉或者非常了解。IXP内部拥有大量的微引擎（MicroEngine），同时结合了XSCALE作为控制面处理器，众所周知，XSCALE是以ARM芯片为核心技术的一种扩展。
　　2006年，AMD向Intel发起了一场大战，时至今日结局已然明了，Intel依赖麾下的以色列团队，打出了新一代Core架构，迅速在能效比上完成超车。公司高层同时确立了Tick-Tock的研发节奏，每隔两年推出新一代体系结构，每隔两年推出基于新一代制造工艺的芯片。这一战略基本保证了每年都会推出新产品。当时AMD的处理器技术一度具有领先地位，并触发了Intel在内部 深入浅出DPDK 下载 mobi epub pdf txt 电子书 格式

好。。。。。。。。。。

非常好，工作正在处理问题，很有帮助，但不是很细，不是代码分析。

好。。。。。。

正要用，就买到了。这本书还是不错。

还算可以吧

还不错

专业性很强的书，是正品，很厚的一本

需要扎实的基础，对系统层面有所了解，不然可能看不下去

想通过快速学习了解下dpdk