编辑推荐
光是物理世界观测的重要载体之一,对高维连续光信号在空间、角度、频谱、时间各维度观测的实现与飞跃,谱写了近百年诺贝尔自然科学奖的辉煌篇章。同时近年来计算机视觉与数字信号处理、图形学等学科飞速发展,经过深度交叉而形成了计算摄像学。目前这方面的书籍十分少见,给从事相关研究的人员和想要学习的学生带来了极大的不便,因此本书主要定位为供计算摄像学相关研究人员和学生学习和参考的专业书籍。
内容简介
本书是戴琼海教授所带领的计算摄像学团队的集体成果。戴教授立足国际前沿热点,紧随潮流,率先在国内引入该研究方向。索津莉博士作为实验室计算摄像组负责人参与了本书大部分研究工作。戴琼海教授、索津莉博士与季向阳教授共同参与了本书的组织与撰写。其他参与本书所述研究工作的诸多师生,虽未作为图书作者,但他们的不懈探索和努力工作构筑了本书的主体内容。
内页插图
目录
第 1章计算摄像学背景综述 .....................................................1
1.1计算摄像学学科简介 ....................................................1
1.2全光函数 .....................................................................3
1.2.1 空间维度 ..........................................................3
1.2.2 角度维度 ..........................................................5
1.2.3 频谱维度 ..........................................................8
1.2.4 时间维度 ..........................................................9
1.2.5 动态范围与极化 .............................................. 16
1.2.6 联合维度采集 .................................................. 17
1.2.7 光的其他特性 .................................................. 18
1.3本书内容与总述 ......................................................... 20
第 2章高帧率视频与 3维结构计算重建 ................................. 21
2.1原始高帧率视频的联合非高斯去噪和超分辨率重建 ....... 21
2.1.1 介绍 ............................................................... 21
2.1.2 相关工作 ........................................................ 23
2.1.3 模型建立 ........................................................ 24
2.1.4 优化算法 ........................................................ 28
2.1.5 实验结果与分析 .............................................. 31
2.1.6 总结与讨论 ..................................................... 42
2.2时间解耦的多视角高速运动计算成像 ........................... 43
2.2.1 高速运动计算成像相关工作介绍 ....................... 46
2.2.2 多视角高速运动计算成像的系统构建与采集方法 ......................................................... 49
2.2.3 时间解耦的高速运动几何信息计算重构 ............. 50
2.2.4 时间解耦的高速运动纹理信息计算重构 ............. 54
2.2.5 实验结果与分析 .............................................. 61
第 3章高分辨率超光谱视频计算采集...................................... 67
3.1棱镜掩膜式光谱视频捕获方法和系统 ........................... 67
3.1.1 光谱视频捕获相关工作介绍 .............................. 68
3.1.2棱镜掩膜式光谱视频捕获方法 ..............................................71
3.1.3棱镜掩膜式光谱视频捕获系统构建 ........................................78
3.1.4实验结果与应用实例 ............................................................83
3.1.5总结与讨论 .........................................................................88
3.2混合相机式光谱视频捕获方法和系统 ...............................................89
3.2.1混合相机式光谱视频捕获方法 ..............................................90
3.2.2混合相机式光谱视频捕获系统构建 ........................................96
3.2.3实验结果与应用实例 ............................................................99
3.3基于混合相机的场景自适应高分辨率高光谱视频采集 ...................... 105
3.3.1基于混合相机的自适应式光谱视频采集方法 ........................ 105
3.3.2实验结果与应用实例 .......................................................... 109
3.4对偶编码高光谱成像 .................................................................... 111
3.4.1高光谱成像简介 ................................................................ 111
3.4.2对偶编码高光谱采集与重构 ................................................ 112
3.4.3总结与讨论 ....................................................................... 117
3.5双频编码:基于压缩感知的高质量的荧光及反射光的获取 ................ 118
3.5.1引言 ................................................................................. 118
3.5.2相关工作 .......................................................................... 120
3.5.3建模 ................................................................................. 121
3.5.4优化 ................................................................................. 124
3.5.5实验结果与分析 ................................................................ 126
3.5.6总结与讨论 ....................................................................... 131
第 4章高分辨率自由景深计算采集 ........................................................... 132
4.1散焦视频对同时重构深度和全聚焦视频 .......................................... 132
4.1.1散焦深度重构介绍 ............................................................. 132
4.1.2相对散焦模糊深度视频初始化 ............................................ 136
4.1.3时空联合优化深度和全聚焦视频 ......................................... 139
4.1.4多散焦视频的联合散焦去模糊 ............................................ 139
4.1.5时空联合优化数值解法 ...................................................... 140
4.1.6实验结果与分析 ................................................................ 142
4.1.7总结与讨论 ....................................................................... 152
4.2编码重聚焦成像 ........................................................................... 152
4.2.1场景重聚焦介绍 ................................................................ 152
4.2.2场景重聚焦技术背景 .......................................................... 154
4.2.3单曝光编码重聚焦采集和重构 ............................................ 156
4.2.4稀疏编码重构深度和全聚焦图像 ......................................... 158
4.2.5实验结果 .......................................................................... 162
4.2.6分析讨论 .......................................................................... 164
4.2.7总结与讨论 ....................................................................... 165
4.3基于散焦线索的单目立体成像 ....................................................... 165
4.3.1引言 ................................................................................. 165
4.3.2光圈状滤波器的基本原理 ................................................... 166
4.3.3深度估计 .......................................................................... 170
4.3.4实验结果与分析 ................................................................ 171
4.3.5总结与讨论 ....................................................................... 175
第 5章模糊图像的计算重建 ..................................................................... 177
.....
前言/序言
计算摄像学有机结合成像系统的采集能力与计算机的计算能力,实现高维视觉信息的全方位采集,是计算机视觉、图形学、光学、信号处理等深度交叉的新兴学科。该方向的研究于21世纪初由斯坦福大学、麻省理工学院、哥伦比亚大学等国际著名研究机构的学者共同发起并蓬勃开展。计算摄像理论与技术打破传统数字图像、视频领域先采集后处理的模式,模糊采集与处理之间的界限,在信号处理理论的指导下将相机采集与计算机后续处理有机结合,在有限的系统采集资源下实现高维视觉信息的耦合采集与解耦重构。计算摄像理论和关键技术以高维高分辨光信息捕获为核心任务,革新成像系统的形式和机制,实现视觉信息的采集,解析场景属性,突破现有相机成像质量的局限,有效扩大视觉信息的后处理空间。计算摄像方法代表未来相机研发的新方向,同时吸引了来自学术界,乃至工业界的广泛关注和极大投入。这一研究方向近年来飞速发展,涌现了大量优秀的科研成果。
清华大学宽带网与数字媒体实验室于2010年正式成立计算摄像研究组,在国内率先开展了计算摄像相关的研究。研究组具备计算摄像研究的硬件平台,投入大量的精力,研发新的成像机制、设计并搭建新的成像系统、钻研高性能计算重构方法,围绕全光函数各个维度的计算采样与重构全面系统开展工作。实验室以自主科研、独立创新为主,同时与麻省理工学院、斯坦福大学、加州理工学院等国际顶级研究机构保持密切合作,取得了一系列创新的成果。相关文章发表在计算摄像领域顶级会议以及视觉与图形学领域顶级会议的计算摄像专题,获得了国际同行的高度认可。在知识产权方面,形成了一批具有自主知识产权的关键技术,申请并获得一系列国内、国际专利授权。此外,计算摄像对于成像能力的突破,使得相关成果具有广阔的产业化与应用前景。
这里,我们汇集了清华大学宽带网与数字媒体实验室近年来计算摄像方面的研究成果,希望能够借此为计算机视觉、图形学等相关学科提供新的视角与思路,并推动国内计算摄像学的发展,吸引和鼓励更多的团队加入该新兴领域的研究,为我国在该新兴领域争得
一席之地。作者还希望以此作为契机,为光学、生物医学、天文、对地观测等领域的成像研究提供借鉴,促进科学观测仪器的研发和基础学科的发展。
本书是戴琼海教授所带领的计算摄像学团队的集体成果。戴教授立足国际前沿热点,紧随潮流,率先在国内引入该研究方向。索津莉博士作为实验室计算摄像组负责人参与了本书大部分研究工作。戴琼海教授、索津莉博士与季向阳教授共同参与了本书的组织与撰写。其他参与本书所述研究工作的诸多师生,虽未作为图书作者,但他们的不懈探索和努力工作构筑了本书的主体内容。
本书所介绍的研究工作均在国家自然科学基金委资助下完成,特此致谢其对该领域和我们科研工作的大力支持。作者在此一并致谢参与本书相关科研工作的多位老师、研究生以及国内外合作者,感谢实验室研究生为稿件进行校对。衷心感谢清华大学出版社王一玲编辑,她和她的同事在图书的整个编辑和出版方面付出了大量心血。本书在编撰过程中得到了诸多同行的支持,并给予了许多建设性指导意见,在此我们表示诚挚的谢意。
穿越光影的艺术:捕捉、重塑与理解现实 在浩瀚的信息海洋中,视觉信息扮演着至关重要的角色,它是我们感知世界、理解环境、进行交流的基础。而“计算摄像学”正是致力于突破传统成像的界限,通过精密的计算手段,赋予机器“看”和“理解”的能力,从而解锁前所未有的视觉可能性。本书并非仅仅是介绍一些新奇的成像技术,而是深入探讨了如何从光线本身的物理特性出发,通过创新的硬件设计与巧妙的算法组合,实现对三维场景的深度、材质、光照等全方位信息的精确捕捉与丰富重构。 想象一下,我们不再满足于一张静态的、二维的平面图像,而是渴望能够“进入”图像,感受其空间深度,甚至可以任意调整视角,从任何角度审视场景。这正是计算摄像学所追求的宏伟目标。它巧妙地融合了光学、几何学、信号处理、机器学习等多个学科的精髓,构建起一座连接物理世界与数字世界的桥梁。 从光的本质出发,解锁更丰富的信息维度 传统的摄像机,如同我们的肉眼,主要捕捉的是场景的亮度信息,并将其转化为二维图像。然而,现实世界远比这复杂得多。物体不仅具有形状和颜色,更拥有三维结构、表面材质的细腻纹理,以及与光线相互作用产生的丰富阴影和反射。计算摄像学正是看到了这些未被充分挖掘的信息,并找到了将其提取、编码和重建的方法。 本书的核心理念之一,便是“全光视觉信息的计算采集”。这意味着我们不局限于采集表面可见的光,而是深入探索光线在传播过程中携带的各种信息。例如,通过测量光线到达每个像素的时间,我们可以推断出场景的深度信息,从而构建出逼真的三维模型。通过分析不同方向入射光线的反射特性,我们可以区分出金属的光泽、皮革的粗糙,或是丝绸的柔和。甚至,我们可以通过捕捉光线在场景中传播的路径,来模拟复杂的全局光照效果,使得渲染出的图像如同亲临现场般真实。 硬件的创新:突破传统成像的物理极限 为了实现对全光信息的捕获,计算摄像学离不开硬件层面的大胆创新。本书将详细阐述一系列颠覆性的硬件设计理念。 多视角采集系统: 传统的相机只有一个视角。而计算摄像学则可以利用多个传感器协同工作,从不同角度同时采集场景信息。这不仅可以提供更丰富的几何约束,还能为三维重建提供关键的视差信息。想象一下,一组分布在不同位置的微型相机阵列,能够如同拥有无数只眼睛,瞬间捕捉到场景的立体全貌。 光场相机(Light Field Camera): 这是计算摄像学领域一个里程碑式的发明。光场相机能够记录下到达相机的所有光线的方向和强度信息,而不仅仅是到达的像素点。这意味着,通过一次拍摄,我们就能获得场景的深度信息,并且可以在后期调整焦点,甚至改变视角,实现了“一次拍摄,多重解读”。本书将深入剖析光场相机的成像原理、镜头设计以及数据采集方法。 深度传感器与结构光技术: 结合激光、红外光等主动光源,计算摄像学可以精确测量场景中每个点的距离。结构光技术通过投射特定的光图案,并分析图案在物体表面的变形,能够快速、准确地构建出高精度的三维深度图。这些技术在机器人导航、增强现实、工业检测等领域有着广泛的应用。 新型光学元件与传感器: 为了更有效地捕获特定光线信息,计算摄像学也催生了对新型光学元件和传感器的需求。例如,偏振相机可以测量光线的偏振信息,从而揭示物体表面的材料特性和几何细节。高光谱相机则能够捕捉远超人眼可见范围的光谱信息,为材质识别和科学分析提供强大支持。 算法的智慧:从原始数据到智能洞察 仅仅拥有强大的硬件是不够的,如何从海量、复杂的原始数据中提取有用的信息,并将其转化为有意义的视觉表示,则是计算摄像学的核心挑战。本书将深入剖析支撑这些硬件创新的强大算法。 三维重建算法: 从多视角图像、光场数据或深度图中重建出高精度的三维模型是计算摄像学的基本任务。本书将介绍从经典的立体视觉方法到基于深度学习的端到端重建技术,涵盖了点云、网格、体素等多种三维表示方式,以及纹理映射、表面平滑等关键步骤。 计算成像与图像增强: 计算摄像学不仅仅是记录,更是“计算”。通过复杂的算法,我们可以克服光学上的限制,实现传统相机难以企及的图像效果。例如,通过多帧图像的融合,可以实现超分辨率成像,将低分辨率的图像提升到更高的清晰度。通过对光线传播的模拟,可以实现去模糊、去噪,甚至合成不存在的光照效果,如同给照片“施加魔法”。 材质与光照估计: 逼真的视觉效果离不开对物体材质和场景光照的准确理解。本书将探讨如何从图像数据中反演出物体的反射率、粗糙度、透明度等材质属性,以及场景中光源的位置、强度和颜色。这些信息对于实现高质量的图像合成、虚拟现实和增强现实应用至关重要。 基于机器学习的计算摄像学: 随着深度学习技术的飞速发展,计算摄像学也迎来了新的突破。本书将介绍如何利用神经网络来完成图像去噪、超分辨率、三维重建、光照估计等任务,并且在许多情况下取得了超越传统方法的性能。从学习图像的内在规律,到直接从原始数据预测出最终的视觉效果,机器学习正在深刻地改变着计算摄像学的研究范式。 应用的前景:重塑我们的视觉体验 计算摄像学的强大能力,正在不断渗透到我们生活的方方面面,重塑着我们感知和交互世界的方式。 摄影与电影制作: 告别一次性的曝光,光场相机让后期聚焦成为可能。通过计算摄像学技术,电影制作可以实现更逼真的视觉特效,模拟复杂的物理光照,甚至可以在后期修改场景中的任何元素。 虚拟现实与增强现实: 逼真的三维重建和准确的光照估计是构建沉浸式VR/AR体验的关键。计算摄像学使得虚拟物体能够与真实世界无缝融合,提供前所未有的交互体验。 机器人与自动驾驶: 准确的三维感知能力是机器人和自动驾驶汽车安全导航的基础。计算摄像学技术赋予机器“看清”世界的能力,使其能够理解环境,避开障碍物,并做出智能决策。 医疗成像与科学研究: 在医疗领域,高分辨率、多维度的成像技术可以帮助医生更精确地诊断病情。在科学研究中,计算摄像学能够捕捉到肉眼无法观察到的细微现象,推动科学探索的边界。 人机交互与智能感知: 通过对用户手势、面部表情、身体姿态的识别,计算摄像学能够实现更自然、更智能的人机交互方式。 本书将引导读者一步步深入计算摄像学的核心理论,从基础的光学原理到前沿的算法模型,再到实际的应用案例。它不仅适合于对计算机视觉、图形学、光学等领域感兴趣的研究者和工程师,也能够为那些希望了解未来视觉技术发展方向的爱好者提供一份详尽的指南。通过学习计算摄像学,我们将能够更深刻地理解光影的奥秘,掌握驾驭视觉信息的力量,最终开启一个充满无限可能的新型视觉时代。