增强现实：原理与实践（英文版） pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

[奥] 迪特尔·施马尔斯蒂格 等 著

图书标签:

• 增强现实
• AR
• 虚拟现实
• 计算机图形学
• 移动应用开发
• 人机交互
• 游戏开发
• 技术
• 编程
• 应用

出版社： 机械工业出版社

ISBN：9787111599104

版次：1

商品编码：12380428

品牌：机工出版

包装：平装

丛书名： 经典原版书库

开本：16开

出版时间：2018-06-01

用纸：胶版纸

页数：423

内容简介

随着真实世界中计算机生成的信息越来越多，增强现实（AR）可以通过不可思议的方式增强人类的感知能力。这个快速发展的领域要求学习者掌握多学科知识，包括计算机视觉、计算机图形学、人机交互等。本书将这些知识有机融合，严谨且准确地展现了当前具影响力的增强现实技术和应用。全书从技术、方法论和用户的角度全面讲解相关知识，实现了理论与实践的平衡，适合开发者、高校师生和研究者阅读。

作者简介

迪特尔·施马尔斯蒂格（Dieter Schmalstieg） 奥地利格拉茨理工大学教授，计算机图形学和视觉中心主任。他是IEEE高级会员、奥地利科学院会员以及欧洲科学院会员，目前已发表论文300余篇，并担任《IEEE可视化和计算机图形学会刊》等核心期刊或论文集的编辑。2002年获得奥地利科学基金会START Career奖，2012年获得IEEE虚拟现实技术成就奖。

托比亚斯·霍勒尔（Tobias H?llerer） 加州大学圣芭芭拉分校计算机科学系教授，Four Eyes实验室主任。曾获得美国NSF授予的CAREER奖，并于2013年获得ACM杰出科学家称号。他曾担任IEEE VR 2015、ICAT 2013等重要国际会议的程序委员会主席，并多次荣获佳论文奖。

目录

Contents

Contents
1 Introduction to Augmented Reality 1
Definition and Scope 3
A Brief History of Augmented Reality 4
Examples 13
Industry and Construction 13
Maintenance and Training 17
Medical 18
Personal Information Display 20
Navigation 21
Television 22
Advertising and Commerce 25
Games 27
Related Fields 28
Mixed Reality Continuum 28
Virtual Reality 29
Ubiquitous Computing 30
Summary 31
2 Displays 33
Multimodal Displays 34
Audio Displays 34
Haptic, Tactile, and Tangible Displays 35
Olfactory and Gustatory Displays 37
Visual Perception 39
Requirements and Characteristics 40
Method of Augmentation 40
Ocularity and Stereoscopy 42
Focus 45
Occlusion 47
Resolution and Refresh Rate 48
Field of View 50
Viewpoint Offset 51
Brightness and Contrast 53
Distortions and Aberrations 55
Latency 55
Ergonomics 55
Social Acceptance 55
Spatial Display Model 56
Visual Displays 58
Near-Eye Displays 59
Handheld Displays 69
Stationary Displays 72
Projected Displays 78
Summary 84
3 Tracking 85
Tracking, Calibration, and Registration 86
Coordinate Systems 87
Model Transformation 88
View Transformation 88
Projective Transformation 89
Frames of Reference 89
Characteristics of Tracking Technology 90
Physical Phenomena 90
Measurement Principle 91
Measured Geometric Property 91
Sensor Arrangement 91
Signal Sources 92
Degrees of Freedom 92
Measurement Coordinates 92
Spatial Sensor Arrangement 93
Workspace Coverage 94
Measurement Error 94
Temporal Characteristics 95
Stationary Tracking Systems 96
Mechanical Tracking 96
Electromagnetic Tracking 97
Ultrasonic Tracking 98
Mobile Sensors 99
Global Positioning System 99
Wireless Networks 101
Magnetometer 102
Gyroscope 102
Linear Accelerometer 103
Odometer 104
Optical Tracking 105
Model-Based versus Model-Free Tracking 106
Illumination 106
Markers versus Natural Features 109
Target Identification 113
Sensor Fusion 117
Complementary Sensor Fusion 117
Competitive Sensor Fusion 117
Cooperative Sensor Fusion 118
Summary 120
4 Computer Vision for Augmented Reality 121
Marker Tracking 123
Camera Representation 124
Marker Detection 126
Pose Estimation from Homography 128
Pose Refinement 132
Multiple-Camera Infrared Tracking 132
Blob Detection 133
Establishing Point Correspondences 133
Triangulation from Two Cameras 135
Triangulation from More Than Two Cameras 137
Matching Targets Consisting of Spherical Markers 137
Absolute Orientation 137
Natural Feature Tracking by Detection 138
Interest Point Detection 140
Descriptor Creation 144
Descriptor Matching 145
Perspective-n-Point Pose 146
Robust Pose Estimation 148
Incremental Tracking 149
Active Search 150
Kanade-Lucas-Tomasi Tracking 151
Zero-Normalized Cross-Correlation 152
Hierarchical Search 154
Combined Detection and Tracking 155
Simultaneous Localization and Mapping 156
Five-Point Algorithm for Essential Matrix 157
Bundle Adjustment 158
Parallel Tracking and Mapping 159
Relocalization and Loop Closure 160
Dense Mapping 161
Outdoor Tracking 164
Scalable Visual Matching 165
Prior Information from Sensors 167
Prior Information from Geometry 169
Simultaneous Tracking, Mapping, and Localization 170
Summary 176
5 Calibration and Registration 179
Camera Calibration 180
Internal Camera Parameters 180
Correcting Lens Distortion 182
Display Calibration 183
Single Point Active Alignment Method 185
Head-Mounted Display Calibration Using a Pointing Device 186
Hand–Eye Calibration 188
Registration 190
Geometric Measurement Distortions 190
Error Propagation 191
Latency 192
Filtering and Prediction 192
Summary 194
6 Visual Coherence 195
Registration 196
Occlusion 199
Occlusion Refinement 201
Probabilistic Occlusion 202
Model-Free Occlusion 202
Photometric Registration 205
Image-Based Lighting 207
Light Probes 208
Offline Light Capturing 210
Photometric Registration from Static Images 210
Photometric Registration from Specular Reflections 211
Photometric Registration from Diffuse Reflections 212
Photometric Registration f

前言/序言

前　　言
在过去的20年里，信息技术的应用从固定的办公室和桌面计算转移到网络、社交媒体和移动计算。近年来，即使将笔记本电脑归入桌面式电脑的类别，智能手机和平板电脑的销量仍然远超传统桌面式电脑。
虽然目前主流用户界面还没有完全从20世纪90年代的桌面计算（或者说是1981 Xerox Star）中脱离出来，但是当今年轻一代获取计算机知识的方式已经改变：各种应用和云计算在许多情况下取代了电脑桌面。计算已经从一项在办公室或书房中开展的工作转变为随时随地进行的活动。
初识增强现实随着用户逐渐远离电脑桌面，将真实世界融入我们的计算体验变得越来越重要。考虑到真实世界既不是平面的，也不是由书写文档组成的，因此必须有一个新的用户界面隐喻。增强现实（Augmented Reality，AR）有潜力成为用于情境计算的主流用户界面隐喻。增强现实具有能将真实世界和与之相关的虚拟信息直接关联的独特性质。整个世界变成了用户界面，这引出了那句熟悉的宣言：
回到真实世界！
虚拟现实（Virtual Reality，VR）的愿景是将我们自身沉浸于人造世界，这推动了游戏设备的发展，带来了令人惊艳的画面效果，随之又出现了各类头戴式显示器和手势跟踪器。但即便如此，像虚拟现实这样通过定义来独占大众注意力的用户界面隐喻，并不一定是日常计算的最佳选择。
相反，我们越来越依赖可以随意使用并能提供容易理解的少量信息的计算界面。我们需要普适计算。这可以通过“宁静”的计算过程实现，这一过程会在后台进行，不需要用户干涉甚至根本不会引起用户的注意。在需要普适交互时，增强现实脱颖而出，成为合适的用户界面技术。
为何写作本书多个相互交叉的研究领域聚焦于增强现实的发展，相关的知识体系也在快速完善。我们自20世纪90年代以来一直以研究者的身份致力于该知识体系的相关工作。本书的主要动力来自于我们所任教的格拉茨理工大学和加州大学圣芭芭拉分校关于增强现实的课堂教学。在备课过程中，我们明显感到目前没有一本教材能够覆盖这个快速发展领域的广度和深度。从2001年的SIGGRAPH会议开始，各种学术会议及其研讨会的部分讲演文稿都为备课提供了参考，我们也参与组织了其中的一些会议。许多基础理论从那时起逐渐构建起来，我们着眼于系统地汇集相关知识，同时注重新兴概念与实践信息。因此，这本书诞生了。
本书讲述了哪些内容如书名所示，本书在原理和实践之间力求平衡。我们的目标是让这本书既能服务于科学研究人员，又能服务于对增强现实应用感兴趣的从业者，特别是工程师。因此，本书既可用作教材，又可用作参考读物。为了充分利用本书，读者需要对计算机科学有基本认识，如果能够了解计算机图形学以及计算机视觉领域的相关知识，或者对其感兴趣，也会对理解本书有帮助。考虑到篇幅的限制，我们无法进一步提供必要背景技术的特定细节，而是给出了已有文献。与此同时，本书谨慎地介绍并清楚地解释了超出基础知识的特定增强现实概念，从而使全书自成体系。本书采用下面的篇章顺序来介绍增强现实的技术和基本方法。
第1章为本书奠定基调，介绍增强现实的定义，简略讲述该领域的历史，之后带领读者领略这项强大的真实世界用户界面技术的多种应用实例。小结部分介绍了一系列相关技术和研究领域的全景。
第2章的主题是显示技术，这是增强现实的关键基础技术之一。根据视觉感知的基础理论，讨论了各种适用于增强现实的显示技术，尤其是头戴式显示、手持式显示和投影式显示。我们还讨论了非视觉显示技术，如听觉和触觉设备等。
第3章的主题是跟踪技术，这是增强现实的潜在核心技术之一。首先讨论了理解跟踪（广义的定义是测量系统）的工作原理所需要掌握的特定知识，然后讨论了传统的固定跟踪系统，并将其与移动传感器进行比较。着重介绍了最主流的光学跟踪技术，并在结尾简述了传感器融合的原理。
第4章继续上一章中对光学跟踪问题的讨论，详细介绍了用于实时位姿估计的计算机视觉算法，例如根据观测图像确定摄像机的位置与朝向。为了便于讲解并使读者更广泛地了解背景知识，这一章由一系列案例研究组成。每一个案例研究仅介绍自身必需的相关知识，所以读者不需要事先深入了解计算机视觉方面的知识。此外，本书对涉及高等数学的问题做了标记，这些问题在实践中通常依赖OpenCV等库来解决，因此可以被视为“黑箱”，不想深入研究的读者可略过这部分内容。
第5章讨论用于增强现实的器件标定和注册方法。在增强现实应用中，第3章所述的用于光学跟踪的数字摄像机标定技术是实现可重复精确操作的必要前提。注册是几何上校准增强现实体验中的真实世界和虚拟世界的过程，从而有利于形成一致混合环境的错觉。
第6章聚焦于使真实和虚拟物体无缝融合的一系列计算机图形技术，包括虚拟和真实物体之间正确的遮挡或阴影关系。我们也解释了消去实境，即消隐场景中的真实物体，并讨论了物理相机的仿真。
第7章关注可视化技术，目的是使信息更容易理解。在增强现实环境中，这意味着几何注册到真实场景物体上的计算机生成的信息，必须按照便于用户理解的方法。

沉浸式数字宇宙的构建基石：光学、计算与交互的深度探索 在信息洪流奔涌、科技日新月异的时代，一种全新的信息呈现与交互方式正悄然重塑我们感知世界、理解信息乃至与现实互动的根基。它打破了物理世界的界限，将数字信息巧妙地叠加在真实场景之上，创造出前所未有的沉浸式体验。本书旨在深入剖析这一革命性技术背后的核心原理，并系统阐述其在各个领域蓬勃发展的实践路径。我们并非简单地罗列应用案例，而是着眼于理解其“之所以然”和“如何行”，为有志于探索、创造和驾驭这一强大力量的读者提供一份详实且富有洞察力的指南。 第一部分：光学透视与感知融合 增强现实（AR）最直观的体验来自于其对视觉信息的重塑。本部分将从光学原理出发，逐层剥离AR系统如何实现“虚拟”与“现实”的无缝融合。 1.1 光学成像与人眼视觉 我们首先将回顾人眼作为自然摄像机的基本工作原理，包括光线的折射、焦距调节、视网膜感光细胞的工作机制以及大脑对视觉信息的处理过程。理解这些生物学基础，是理解AR设备如何模仿甚至增强人眼功能的前提。我们将探讨不同类型的光学系统，如透镜、棱镜，以及它们如何影响光线的路径和成像效果。 1.2 AR显示技术的基石：波导与衍射光学 AR设备的核心在于如何将虚拟影像呈现在用户眼前，且不遮挡真实世界。本节将重点介绍当下主流的AR显示技术，尤其是波导（Waveguide）技术。我们将深入解析不同类型的波导，如衍射光栅波导、几何波导和全息波导，分析它们在光线传输、成像精度、视场角、亮度和功耗等方面的优缺点。衍射光学作为波导技术的重要支撑，其衍射理论、光栅设计与制造工艺将得到详细阐述。我们还将探讨全息显示技术在AR领域的潜在应用，以及其实现原理与挑战。 1.3 光场与立体成像 人眼感知三维世界的关键在于立体视觉，即通过双眼视差来判断物体远近。AR系统需要模拟这种立体感知能力。本节将介绍光场（Light Field）的概念，以及如何通过多视角成像、光场相机或结构光投影等技术来捕捉和生成具有深度信息的虚拟影像。我们将分析不同立体成像技术，如主动式立体成像（结构光、ToF）和被动式立体成像（双目视觉、多视角SfM），以及它们在AR环境中的应用场景和技术限制。 1.4 传感器融合与环境感知 要实现“增强”现实，AR系统必须能够“理解”现实。这就需要先进的传感器技术和数据融合能力。本节将详细介绍AR设备中常用的传感器，包括惯性测量单元（IMU，陀螺仪、加速度计）、摄像头（RGB、深度相机）、GPS、磁力计等。我们将探讨这些传感器如何协同工作，采集环境的几何信息、纹理信息和动态信息。数据融合算法，如卡尔曼滤波、粒子滤波等，在整合多源异构传感器数据，提高AR定位与追踪精度的作用将得到深入分析。 第二部分：计算视觉与空间理解 AR系统的“智能”在于其能够实时理解和处理现实世界的空间信息，并将其与虚拟内容进行精确对齐。这一能力高度依赖于计算视觉的强大支持。 2.1 SLAM：AR的核心驱动力 同时定位与地图构建（Simultaneous Localization and Mapping，SLAM）是AR技术实现的关键技术之一。本节将系统介绍SLAM的原理、挑战与发展。我们将详细解析基于视觉的SLAM（Visual SLAM），包括特征点法（如ORB-SLAM）、直接法（如LSD-SLAM）以及混合法。同时，我们还将讨论激光雷达SLAM（LiDAR SLAM）、IMU辅助SLAM等不同方法。SLAM算法在地图构建（稀疏地图、稠密地图）、位姿估计、重定位（Loop Closure）等方面的关键技术和实现细节将得到深入讲解。 2.2 目标识别与跟踪 AR应用通常需要识别和跟踪特定的真实世界物体，以便在其上方叠加虚拟信息。本节将聚焦于计算视觉在目标识别与跟踪方面的进展。我们将回顾传统的图像处理技术（如SIFT、SURF），并重点介绍基于深度学习的目标检测算法（如YOLO、SSD、Faster R-CNN）和目标跟踪算法（如KCF、GOTURN）。同时，我们将探讨AR环境中常用的识别跟踪技术，如基于标记的跟踪（如ArUco、Vuforia）和无标记跟踪。 2.3 三维重建与场景理解 为了将虚拟物体以逼真的方式放置在现实场景中，AR系统需要对三维场景有深入的理解。本节将探讨多种三维重建技术，包括摄影测量法（Photogrammetry）、多视图立体（Multi-View Stereo，MVS）、深度学习驱动的三维重建（如NeRF）等。我们将分析这些技术在生成场景几何模型、纹理信息方面的能力，以及它们在AR应用中的局限性。场景理解方面，我们将涉及平面检测、物体分割、表面法线估计等技术，以及如何利用这些信息进行虚拟物体的交互和碰撞检测。 2.4 计算机图形学与渲染 将虚拟物体渲染到真实场景中，并使其在视觉上与环境融为一体，是AR体验的关键。本节将深入探讨计算机图形学在AR中的应用。我们将回顾经典的渲染管线，并重点介绍实时渲染技术，如光栅化、光线追踪。AR环境中，阴影投射、反射、折射、环境光遮蔽（Ambient Occlusion）等技术对提高虚拟物体真实感的至关重要。本节还将探讨材质建模、纹理映射、后处理技术（如景深、运动模糊）等，以及如何利用这些技术生成高质量的AR视觉效果。 第三部分：人机交互与沉浸式体验 AR技术不仅仅是视觉的叠加，更是人与数字信息、与现实世界之间新型交互模式的构建。本部分将聚焦于AR的交互方式与用户体验。 3.1 输入模态与交互设计 AR设备的交互方式多种多样，从传统的触摸屏和按钮，到更加自然的语音指令、手势识别，甚至眼球追踪和脑机接口。本节将分析不同输入模态的优劣，以及如何根据AR应用场景选择最合适的交互方式。我们将深入探讨AR交互设计的原则，包括直观性、反馈及时性、效率和用户舒适度。手势识别技术，包括2D手势和3D手势，以及其在AR交互中的应用将得到详细阐述。 3.2 空间交互与用户意图推断 AR环境下的交互需要考虑用户在三维空间中的位置、姿态和意图。本节将研究空间交互技术，例如用户如何通过指向、抓取、拖拽等动作与虚拟物体进行互动。我们将探讨如何通过用户行为分析和机器学习来推断用户的意图，从而实现更智能、更顺畅的交互。语音交互在AR中的作用，包括语音识别、自然语言处理和语音合成，也将得到重点介绍。 3.3 沉浸感与存在感 AR的核心目标是提供一种“身临其境”的体验。本节将从心理学和人机工程学的角度，探讨影响AR沉浸感和存在感的关键因素。我们将分析视觉一致性、交互的自然性、信息呈现的上下文感知等对用户体验的影响。此外，我们将讨论如何通过优化渲染质量、降低延迟、提供恰当的反馈等方式，来提升用户的沉浸感和虚拟物体的“存在感”。 3.4 AR的未来发展与伦理考量 展望AR技术的未来，我们将讨论其在混合现实（MR）、空间计算、元宇宙等前沿领域的演进。AR设备形态的演变，从目前的头戴显示器到未来的隐形眼镜或环境投影，都将对用户体验产生颠覆性影响。同时，AR技术的广泛应用也带来了新的伦理和社会挑战，例如隐私保护、信息过载、数字鸿沟等问题，本节将对这些方面进行初步的探讨，并引发读者对AR技术负责任发展的思考。 本书内容严谨，逻辑清晰，理论结合实践，力求为读者构建一个全面、深入、前瞻性的AR技术知识体系。无论是技术开发者、产品经理、设计师，还是对前沿科技充满好奇的学习者，都能从中获得宝贵的知识与启发，共同探索和塑造增强现实技术赋能的无限未来。

评分☆☆☆☆☆

作为一个已经在这个行业摸爬滚打多年的开发者，我总是对那些能够真正推动技术进步的书籍抱有极高的期待。这本书，说实话，确实超出了我的预期。《增强现实：原理与实践》在技术深度和广度上都做到了很好的平衡。作者对AR核心技术的剖析，比如SLAM（同步定位与地图构建）的演进、图像识别的最新算法，以及如何在不同硬件平台上实现高效渲染，都非常有见地。书中对不同AR SDK的比较分析，以及在实际项目开发中可能遇到的挑战和解决方案，更是让我受益匪浅。我特别欣赏作者在讨论“实践”部分时，并没有止步于理论的罗列，而是深入到具体的开发流程、性能优化技巧，甚至包括AR内容创作的整个生命周期。虽然书名是“原理与实践”，但它给我的感觉更像是一本“实战宝典”，让我能够将书中的知识转化为解决实际工程问题的能力。这本书的逻辑清晰，章节安排合理，即便是一些相对前沿的技术点，也能通过作者细致的讲解和清晰的图示，被我这个老兵也能轻松消化。

评分☆☆☆☆☆

坦白说，我拿起这本书的目的，主要是想了解一下AR这个概念的商业应用前景。毕竟，作为一名市场营销人员，我需要跟上最新的技术趋势，才能更好地为客户提供有价值的洞察。而《增强现实：原理与实践》这本书，恰恰在这方面给了我很多启发。《增强现实：原理与实践》不仅仅是技术原理的介绍，它更像是一本关于“如何用AR创造商业价值”的指南。书中对AR技术如何改变用户体验、如何提升品牌互动、如何优化营销策略等方面进行了深入的探讨。我尤其关注书中关于AR在电子商务、广告、娱乐等行业的商业模式分析，这些内容让我对AR的未来发展方向有了更清晰的认识。它让我明白，AR绝不仅仅是“酷炫的视觉效果”，而是能够实实在在地为企业带来增长的强大工具。这本书的分析非常有深度，而且有很多实际的商业案例支撑，让我能够将其中的理论快速转化为市场策略。

评分☆☆☆☆☆

我是一名对学习新知识充满热情的高中生，平时喜欢阅读一些关于科技的书籍，希望能够拓宽自己的视野。《增强现实：原理与实践》这本书，无疑是我近期读到的一本非常棒的书。虽然书名听起来有点专业，但读起来却一点也不枯燥。作者用非常形象的比喻和生动的例子，向我解释了AR技术是如何工作的，比如眼睛看到的世界和电脑“看到”的世界有什么不同，以及如何让虚拟物体“叠加”在真实世界中。我最喜欢的是书中关于AR游戏和AR教育应用的介绍，这让我觉得AR离我的生活并不遥远，甚至可以说，它正在悄悄地改变我们学习和娱乐的方式。这本书让我对物理世界和数字世界的融合产生了浓厚的兴趣，也激发了我未来想要深入学习计算机科学和人工智能的决心。它让我明白，科技不仅仅是书本上的公式和代码，更是能够改变我们生活，甚至创造无限可能的强大力量。

评分☆☆☆☆☆

我对科技一直抱有浓厚的兴趣，尤其是那些听起来既神奇又实用的技术。《增强现实：原理与实践》这本书，可以说完全抓住了我这种“技术好奇宝宝”的心理。它不像市面上很多技术书籍那样枯燥乏味，而是用一种非常生动有趣的方式，把我带入到了AR的世界。一开始，我以为AR只是游戏或者一些新奇的应用，但读完这本书，我才意识到，AR的触角已经延伸到了工业、医疗、教育等各个领域。书中对AR技术在不同行业应用的案例分析，让我大开眼界。比如，如何利用AR进行复杂的设备维修指导，或者是在医学手术中提供实时导航，这些都让我感叹科技的力量。而且，这本书的语言风格非常易懂，即使是一些专业术语，作者也会用通俗易懂的比喻来解释，让我这个非技术背景的读者也能轻松理解。我喜欢它那种循序渐进的讲解方式，从最基本的概念入手，逐步深入到更复杂的技术细节，让我感觉自己像是在与一位耐心的老师对话，而不是在啃一本难懂的教科书。

评分☆☆☆☆☆

这本书简直就像一本打开了新世界大门的钥匙！我一直对增强现实（AR）这个概念充满好奇，总觉得它像科幻电影里才会出现的东西，但这本书却用一种非常接地气的方式，把我领进了AR的奇妙世界。从最基础的原理讲起，那些关于光线追踪、传感器融合、空间锚点之类的概念，一开始听起来有点吓人，但作者就像一位经验丰富的向导，一步步地为你拆解，直到你豁然开朗。我尤其喜欢书中那些生动的例子，比如如何用AR让博物馆的展品“活”过来，或者是在家就能“试穿”衣服，这些都不是空泛的理论，而是实实在在的应用场景，让我看到了AR的巨大潜力。而且，这本书的排版和插图都做得相当出色，那些复杂的算法和模型都被可视化了，看得我心潮澎湃，恨不得立刻拿起手机或者眼镜，去亲身体验一下。我之前总觉得AR离我很遥远，但读完这本书，我发现它其实已经悄悄地融入了我们的生活，并且未来还有无限可能。它不仅仅是一本技术书籍，更像是一次思维的启迪，让我对科技的未来有了更深的理解和期待。