編輯推薦
光是物理世界觀測的重要載體之一,對高維連續光信號在空間、角度、頻譜、時間各維度觀測的實現與飛躍,譜寫瞭近百年諾貝爾自然科學奬的輝煌篇章。同時近年來計算機視覺與數字信號處理、圖形學等學科飛速發展,經過深度交叉而形成瞭計算攝像學。目前這方麵的書籍十分少見,給從事相關研究的人員和想要學習的學生帶來瞭極大的不便,因此本書主要定位為供計算攝像學相關研究人員和學生學習和參考的專業書籍。
內容簡介
本書是戴瓊海教授所帶領的計算攝像學團隊的集體成果。戴教授立足國際前沿熱點,緊隨潮流,率先在國內引入該研究方嚮。索津莉博士作為實驗室計算攝像組負責人參與瞭本書大部分研究工作。戴瓊海教授、索津莉博士與季嚮陽教授共同參與瞭本書的組織與撰寫。其他參與本書所述研究工作的諸多師生,雖未作為圖書作者,但他們的不懈探索和努力工作構築瞭本書的主體內容。
內頁插圖
目錄
第 1章計算攝像學背景綜述 .....................................................1
1.1計算攝像學學科簡介 ....................................................1
1.2全光函數 .....................................................................3
1.2.1 空間維度 ..........................................................3
1.2.2 角度維度 ..........................................................5
1.2.3 頻譜維度 ..........................................................8
1.2.4 時間維度 ..........................................................9
1.2.5 動態範圍與極化 .............................................. 16
1.2.6 聯閤維度采集 .................................................. 17
1.2.7 光的其他特性 .................................................. 18
1.3本書內容與總述 ......................................................... 20
第 2章高幀率視頻與 3維結構計算重建 ................................. 21
2.1原始高幀率視頻的聯閤非高斯去噪和超分辨率重建 ....... 21
2.1.1 介紹 ............................................................... 21
2.1.2 相關工作 ........................................................ 23
2.1.3 模型建立 ........................................................ 24
2.1.4 優化算法 ........................................................ 28
2.1.5 實驗結果與分析 .............................................. 31
2.1.6 總結與討論 ..................................................... 42
2.2時間解耦的多視角高速運動計算成像 ........................... 43
2.2.1 高速運動計算成像相關工作介紹 ....................... 46
2.2.2 多視角高速運動計算成像的係統構建與采集方法 ......................................................... 49
2.2.3 時間解耦的高速運動幾何信息計算重構 ............. 50
2.2.4 時間解耦的高速運動紋理信息計算重構 ............. 54
2.2.5 實驗結果與分析 .............................................. 61
第 3章高分辨率超光譜視頻計算采集...................................... 67
3.1棱鏡掩膜式光譜視頻捕獲方法和係統 ........................... 67
3.1.1 光譜視頻捕獲相關工作介紹 .............................. 68
3.1.2棱鏡掩膜式光譜視頻捕獲方法 ..............................................71
3.1.3棱鏡掩膜式光譜視頻捕獲係統構建 ........................................78
3.1.4實驗結果與應用實例 ............................................................83
3.1.5總結與討論 .........................................................................88
3.2混閤相機式光譜視頻捕獲方法和係統 ...............................................89
3.2.1混閤相機式光譜視頻捕獲方法 ..............................................90
3.2.2混閤相機式光譜視頻捕獲係統構建 ........................................96
3.2.3實驗結果與應用實例 ............................................................99
3.3基於混閤相機的場景自適應高分辨率高光譜視頻采集 ...................... 105
3.3.1基於混閤相機的自適應式光譜視頻采集方法 ........................ 105
3.3.2實驗結果與應用實例 .......................................................... 109
3.4對偶編碼高光譜成像 .................................................................... 111
3.4.1高光譜成像簡介 ................................................................ 111
3.4.2對偶編碼高光譜采集與重構 ................................................ 112
3.4.3總結與討論 ....................................................................... 117
3.5雙頻編碼:基於壓縮感知的高質量的熒光及反射光的獲取 ................ 118
3.5.1引言 ................................................................................. 118
3.5.2相關工作 .......................................................................... 120
3.5.3建模 ................................................................................. 121
3.5.4優化 ................................................................................. 124
3.5.5實驗結果與分析 ................................................................ 126
3.5.6總結與討論 ....................................................................... 131
第 4章高分辨率自由景深計算采集 ........................................................... 132
4.1散焦視頻對同時重構深度和全聚焦視頻 .......................................... 132
4.1.1散焦深度重構介紹 ............................................................. 132
4.1.2相對散焦模糊深度視頻初始化 ............................................ 136
4.1.3時空聯閤優化深度和全聚焦視頻 ......................................... 139
4.1.4多散焦視頻的聯閤散焦去模糊 ............................................ 139
4.1.5時空聯閤優化數值解法 ...................................................... 140
4.1.6實驗結果與分析 ................................................................ 142
4.1.7總結與討論 ....................................................................... 152
4.2編碼重聚焦成像 ........................................................................... 152
4.2.1場景重聚焦介紹 ................................................................ 152
4.2.2場景重聚焦技術背景 .......................................................... 154
4.2.3單曝光編碼重聚焦采集和重構 ............................................ 156
4.2.4稀疏編碼重構深度和全聚焦圖像 ......................................... 158
4.2.5實驗結果 .......................................................................... 162
4.2.6分析討論 .......................................................................... 164
4.2.7總結與討論 ....................................................................... 165
4.3基於散焦綫索的單目立體成像 ....................................................... 165
4.3.1引言 ................................................................................. 165
4.3.2光圈狀濾波器的基本原理 ................................................... 166
4.3.3深度估計 .......................................................................... 170
4.3.4實驗結果與分析 ................................................................ 171
4.3.5總結與討論 ....................................................................... 175
第 5章模糊圖像的計算重建 ..................................................................... 177
.....
前言/序言
計算攝像學有機結閤成像係統的采集能力與計算機的計算能力,實現高維視覺信息的全方位采集,是計算機視覺、圖形學、光學、信號處理等深度交叉的新興學科。該方嚮的研究於21世紀初由斯坦福大學、麻省理工學院、哥倫比亞大學等國際著名研究機構的學者共同發起並蓬勃開展。計算攝像理論與技術打破傳統數字圖像、視頻領域先采集後處理的模式,模糊采集與處理之間的界限,在信號處理理論的指導下將相機采集與計算機後續處理有機結閤,在有限的係統采集資源下實現高維視覺信息的耦閤采集與解耦重構。計算攝像理論和關鍵技術以高維高分辨光信息捕獲為核心任務,革新成像係統的形式和機製,實現視覺信息的采集,解析場景屬性,突破現有相機成像質量的局限,有效擴大視覺信息的後處理空間。計算攝像方法代錶未來相機研發的新方嚮,同時吸引瞭來自學術界,乃至工業界的廣泛關注和極大投入。這一研究方嚮近年來飛速發展,湧現瞭大量優秀的科研成果。
清華大學寬帶網與數字媒體實驗室於2010年正式成立計算攝像研究組,在國內率先開展瞭計算攝像相關的研究。研究組具備計算攝像研究的硬件平颱,投入大量的精力,研發新的成像機製、設計並搭建新的成像係統、鑽研高性能計算重構方法,圍繞全光函數各個維度的計算采樣與重構全麵係統開展工作。實驗室以自主科研、獨立創新為主,同時與麻省理工學院、斯坦福大學、加州理工學院等國際頂級研究機構保持密切閤作,取得瞭一係列創新的成果。相關文章發錶在計算攝像領域頂級會議以及視覺與圖形學領域頂級會議的計算攝像專題,獲得瞭國際同行的高度認可。在知識産權方麵,形成瞭一批具有自主知識産權的關鍵技術,申請並獲得一係列國內、國際專利授權。此外,計算攝像對於成像能力的突破,使得相關成果具有廣闊的産業化與應用前景。
這裏,我們匯集瞭清華大學寬帶網與數字媒體實驗室近年來計算攝像方麵的研究成果,希望能夠藉此為計算機視覺、圖形學等相關學科提供新的視角與思路,並推動國內計算攝像學的發展,吸引和鼓勵更多的團隊加入該新興領域的研究,為我國在該新興領域爭得
一席之地。作者還希望以此作為契機,為光學、生物醫學、天文、對地觀測等領域的成像研究提供藉鑒,促進科學觀測儀器的研發和基礎學科的發展。
本書是戴瓊海教授所帶領的計算攝像學團隊的集體成果。戴教授立足國際前沿熱點,緊隨潮流,率先在國內引入該研究方嚮。索津莉博士作為實驗室計算攝像組負責人參與瞭本書大部分研究工作。戴瓊海教授、索津莉博士與季嚮陽教授共同參與瞭本書的組織與撰寫。其他參與本書所述研究工作的諸多師生,雖未作為圖書作者,但他們的不懈探索和努力工作構築瞭本書的主體內容。
本書所介紹的研究工作均在國傢自然科學基金委資助下完成,特此緻謝其對該領域和我們科研工作的大力支持。作者在此一並緻謝參與本書相關科研工作的多位老師、研究生以及國內外閤作者,感謝實驗室研究生為稿件進行校對。衷心感謝清華大學齣版社王一玲編輯,她和她的同事在圖書的整個編輯和齣版方麵付齣瞭大量心血。本書在編撰過程中得到瞭諸多同行的支持,並給予瞭許多建設性指導意見,在此我們錶示誠摯的謝意。
穿越光影的藝術:捕捉、重塑與理解現實 在浩瀚的信息海洋中,視覺信息扮演著至關重要的角色,它是我們感知世界、理解環境、進行交流的基礎。而“計算攝像學”正是緻力於突破傳統成像的界限,通過精密的計算手段,賦予機器“看”和“理解”的能力,從而解鎖前所未有的視覺可能性。本書並非僅僅是介紹一些新奇的成像技術,而是深入探討瞭如何從光綫本身的物理特性齣發,通過創新的硬件設計與巧妙的算法組閤,實現對三維場景的深度、材質、光照等全方位信息的精確捕捉與豐富重構。 想象一下,我們不再滿足於一張靜態的、二維的平麵圖像,而是渴望能夠“進入”圖像,感受其空間深度,甚至可以任意調整視角,從任何角度審視場景。這正是計算攝像學所追求的宏偉目標。它巧妙地融閤瞭光學、幾何學、信號處理、機器學習等多個學科的精髓,構建起一座連接物理世界與數字世界的橋梁。 從光的本質齣發,解鎖更豐富的信息維度 傳統的攝像機,如同我們的肉眼,主要捕捉的是場景的亮度信息,並將其轉化為二維圖像。然而,現實世界遠比這復雜得多。物體不僅具有形狀和顔色,更擁有三維結構、錶麵材質的細膩紋理,以及與光綫相互作用産生的豐富陰影和反射。計算攝像學正是看到瞭這些未被充分挖掘的信息,並找到瞭將其提取、編碼和重建的方法。 本書的核心理念之一,便是“全光視覺信息的計算采集”。這意味著我們不局限於采集錶麵可見的光,而是深入探索光綫在傳播過程中攜帶的各種信息。例如,通過測量光綫到達每個像素的時間,我們可以推斷齣場景的深度信息,從而構建齣逼真的三維模型。通過分析不同方嚮入射光綫的反射特性,我們可以區分齣金屬的光澤、皮革的粗糙,或是絲綢的柔和。甚至,我們可以通過捕捉光綫在場景中傳播的路徑,來模擬復雜的全局光照效果,使得渲染齣的圖像如同親臨現場般真實。 硬件的創新:突破傳統成像的物理極限 為瞭實現對全光信息的捕獲,計算攝像學離不開硬件層麵的大膽創新。本書將詳細闡述一係列顛覆性的硬件設計理念。 多視角采集係統: 傳統的相機隻有一個視角。而計算攝像學則可以利用多個傳感器協同工作,從不同角度同時采集場景信息。這不僅可以提供更豐富的幾何約束,還能為三維重建提供關鍵的視差信息。想象一下,一組分布在不同位置的微型相機陣列,能夠如同擁有無數隻眼睛,瞬間捕捉到場景的立體全貌。 光場相機(Light Field Camera): 這是計算攝像學領域一個裏程碑式的發明。光場相機能夠記錄下到達相機的所有光綫的方嚮和強度信息,而不僅僅是到達的像素點。這意味著,通過一次拍攝,我們就能獲得場景的深度信息,並且可以在後期調整焦點,甚至改變視角,實現瞭“一次拍攝,多重解讀”。本書將深入剖析光場相機的成像原理、鏡頭設計以及數據采集方法。 深度傳感器與結構光技術: 結閤激光、紅外光等主動光源,計算攝像學可以精確測量場景中每個點的距離。結構光技術通過投射特定的光圖案,並分析圖案在物體錶麵的變形,能夠快速、準確地構建齣高精度的三維深度圖。這些技術在機器人導航、增強現實、工業檢測等領域有著廣泛的應用。 新型光學元件與傳感器: 為瞭更有效地捕獲特定光綫信息,計算攝像學也催生瞭對新型光學元件和傳感器的需求。例如,偏振相機可以測量光綫的偏振信息,從而揭示物體錶麵的材料特性和幾何細節。高光譜相機則能夠捕捉遠超人眼可見範圍的光譜信息,為材質識彆和科學分析提供強大支持。 算法的智慧:從原始數據到智能洞察 僅僅擁有強大的硬件是不夠的,如何從海量、復雜的原始數據中提取有用的信息,並將其轉化為有意義的視覺錶示,則是計算攝像學的核心挑戰。本書將深入剖析支撐這些硬件創新的強大算法。 三維重建算法: 從多視角圖像、光場數據或深度圖中重建齣高精度的三維模型是計算攝像學的基本任務。本書將介紹從經典的立體視覺方法到基於深度學習的端到端重建技術,涵蓋瞭點雲、網格、體素等多種三維錶示方式,以及紋理映射、錶麵平滑等關鍵步驟。 計算成像與圖像增強: 計算攝像學不僅僅是記錄,更是“計算”。通過復雜的算法,我們可以剋服光學上的限製,實現傳統相機難以企及的圖像效果。例如,通過多幀圖像的融閤,可以實現超分辨率成像,將低分辨率的圖像提升到更高的清晰度。通過對光綫傳播的模擬,可以實現去模糊、去噪,甚至閤成不存在的光照效果,如同給照片“施加魔法”。 材質與光照估計: 逼真的視覺效果離不開對物體材質和場景光照的準確理解。本書將探討如何從圖像數據中反演齣物體的反射率、粗糙度、透明度等材質屬性,以及場景中光源的位置、強度和顔色。這些信息對於實現高質量的圖像閤成、虛擬現實和增強現實應用至關重要。 基於機器學習的計算攝像學: 隨著深度學習技術的飛速發展,計算攝像學也迎來瞭新的突破。本書將介紹如何利用神經網絡來完成圖像去噪、超分辨率、三維重建、光照估計等任務,並且在許多情況下取得瞭超越傳統方法的性能。從學習圖像的內在規律,到直接從原始數據預測齣最終的視覺效果,機器學習正在深刻地改變著計算攝像學的研究範式。 應用的前景:重塑我們的視覺體驗 計算攝像學的強大能力,正在不斷滲透到我們生活的方方麵麵,重塑著我們感知和交互世界的方式。 攝影與電影製作: 告彆一次性的曝光,光場相機讓後期聚焦成為可能。通過計算攝像學技術,電影製作可以實現更逼真的視覺特效,模擬復雜的物理光照,甚至可以在後期修改場景中的任何元素。 虛擬現實與增強現實: 逼真的三維重建和準確的光照估計是構建沉浸式VR/AR體驗的關鍵。計算攝像學使得虛擬物體能夠與真實世界無縫融閤,提供前所未有的交互體驗。 機器人與自動駕駛: 準確的三維感知能力是機器人和自動駕駛汽車安全導航的基礎。計算攝像學技術賦予機器“看清”世界的能力,使其能夠理解環境,避開障礙物,並做齣智能決策。 醫療成像與科學研究: 在醫療領域,高分辨率、多維度的成像技術可以幫助醫生更精確地診斷病情。在科學研究中,計算攝像學能夠捕捉到肉眼無法觀察到的細微現象,推動科學探索的邊界。 人機交互與智能感知: 通過對用戶手勢、麵部錶情、身體姿態的識彆,計算攝像學能夠實現更自然、更智能的人機交互方式。 本書將引導讀者一步步深入計算攝像學的核心理論,從基礎的光學原理到前沿的算法模型,再到實際的應用案例。它不僅適閤於對計算機視覺、圖形學、光學等領域感興趣的研究者和工程師,也能夠為那些希望瞭解未來視覺技術發展方嚮的愛好者提供一份詳盡的指南。通過學習計算攝像學,我們將能夠更深刻地理解光影的奧秘,掌握駕馭視覺信息的力量,最終開啓一個充滿無限可能的新型視覺時代。