本書主要介紹高真實(shí)感虛實(shí)融合光影計算的核心技術(shù)原理和算法。全書共7章,包括虛實(shí)融合概述、光影計算的相關(guān)工作、室內(nèi)場景的光照計算、室外場景的光照計算、本征圖像分解與圖像重光照、室外場景的陰影檢測與陰影去除、室外場景虛實(shí)景物的陰影相互投射與融合。本書不僅全面介紹虛實(shí)融合光影計算領(lǐng)域的基本概念和相關(guān)知識,還闡述了光影計算技術(shù)的發(fā)展現(xiàn)狀和核心算法,力求涵蓋各相關(guān)領(lǐng)域的核心技術(shù)。本書既可作為高等院校計算機(jī)專業(yè)本科生或研究生的參考書,也可為廣大從事增強(qiáng)現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)、元宇宙技術(shù)與系統(tǒng)開發(fā)的研發(fā)人員提供重要技術(shù)參考。
本書講解高真實(shí)感虛實(shí)融合光影計算的核心技術(shù)原理和算法,全彩印刷,助力讀者掌握相關(guān)技能。
前言
虛實(shí)融合技術(shù)旨在將虛擬世界中的數(shù)字信息與現(xiàn)實(shí)世界中的物理環(huán)境相互融合,以實(shí)現(xiàn)對現(xiàn)實(shí)世界的信息增強(qiáng)與擴(kuò)充,是元宇宙、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)等領(lǐng)域的共性關(guān)鍵技術(shù)。借助于計算機(jī)圖形圖像處理、計算機(jī)視覺、認(rèn)知科學(xué)等理論與技術(shù),虛實(shí)融合技術(shù)可實(shí)現(xiàn)虛擬物體與現(xiàn)實(shí)環(huán)境的自動注冊與融合,營造出虛擬世界與真實(shí)環(huán)境共享同一空間的沉浸式體驗,使科幻片中的場景成為可能。在現(xiàn)實(shí)生活中,外科醫(yī)生借助虛實(shí)融合的手術(shù)導(dǎo)航指引,顯著提高了手術(shù)的精準(zhǔn)性和安全性; 各大博物館紛紛推出了增強(qiáng)現(xiàn)實(shí)講解應(yīng)用,幫助游客更為生動、形象地了解每件藏品背后所蘊(yùn)藏的故事和文化; 利用虛實(shí)融合技術(shù)制作出的絢麗的舞臺效果通過電視屏幕呈現(xiàn)在千家萬戶面前?梢钥吹剑搶(shí)融合技術(shù)已經(jīng)走入人們的現(xiàn)實(shí)生活,并影響著現(xiàn)代社會。
虛實(shí)融合的終極目標(biāo)是使虛擬景物與真實(shí)場景之間的融合毫無破綻。為了實(shí)現(xiàn)這一目標(biāo),虛實(shí)融合系統(tǒng)需要滿足幾何一致性、光影一致性和交互一致性。其中,幾何一致性指虛擬物體與真實(shí)場景必須具有一致的幾何關(guān)系,包括與真實(shí)相機(jī)一致的位置姿態(tài)、協(xié)調(diào)的透視效果、正確的幾何遮擋等,虛擬物體注冊與相機(jī)跟蹤等技術(shù)是解決幾何一致性的主要手段; 光影一致性則需要虛擬物體與真實(shí)場景共享同一個光影環(huán)境,這要求虛擬物體的外觀應(yīng)與它們所處的真實(shí)場景一致,例如,虛擬物體應(yīng)與真實(shí)環(huán)境具有協(xié)調(diào)的亮度與顏色,同時還需要正確模擬虛、實(shí)場景之間的陰影投射效果及其他觀影效果,為了模擬上述效果,需要通過光照計算和陰影計算技術(shù)對真實(shí)場景的光影環(huán)境進(jìn)行建模,其中光照計算技術(shù)主要用于恢復(fù)場景的光照分布,陰影計算技術(shù)則主要解決真實(shí)陰影檢測與去除,以及虛實(shí)陰影相互投射與融合等問題; 交互一致性則要求虛實(shí)物體間的交互必須符合客觀規(guī)律,接受現(xiàn)實(shí)環(huán)境的約束。
我國對于虛實(shí)融合技術(shù)的研究始于20世紀(jì)90年代末。2009—2013年,浙江大學(xué)CAD&CG國家重點(diǎn)實(shí)驗室承擔(dān)的“混合現(xiàn)實(shí)的理論與方法”研究課題獲得國家重點(diǎn)基礎(chǔ)研究計劃(973計劃)立項資助,重點(diǎn)對混合現(xiàn)實(shí)的基礎(chǔ)理論與方法展開研究。虛實(shí)融合技術(shù)是這個項目的關(guān)鍵研究問題之一。本書作者在浙江大學(xué)攻讀碩士和博士學(xué)位時有幸參與了這個項目,重點(diǎn)研究虛實(shí)融合中的光影一致性問題,先后提出了若干真實(shí)場景的光影環(huán)境重建方法。參加工作后又得到四川省重點(diǎn)研發(fā)計劃“沉浸式文化旅游體驗關(guān)鍵技術(shù)研發(fā)及應(yīng)用示范”的資助,進(jìn)一步在該領(lǐng)域開展了深入、系統(tǒng)的研究,提出了虛實(shí)陰影交互及更為復(fù)雜的光影效果的模擬方法等,形成了光影計算理論與技術(shù),所獲成果發(fā)表在IEEE TVCG、IEEE MM、CGF、ACM MM等重要學(xué)術(shù)期刊和會議上。
當(dāng)前,學(xué)術(shù)研究對虛實(shí)融合的三個一致性大多集中于幾何一致性研究。因為相機(jī)跟蹤等技術(shù)較為成熟,所以常用的增強(qiáng)現(xiàn)實(shí)軟件平臺(如蘋果ARKit、谷歌ARCore等)均配備了較為穩(wěn)定的相機(jī)定位跟蹤及地圖構(gòu)建功能。但是在光影一致性方面,僅有少數(shù)平臺具有簡單的光照計算功能,大多數(shù)平臺并不具備任何光照處理功能。隨著虛實(shí)融合的應(yīng)用日益深入,人們對融合的外觀品質(zhì)的要求越來越高,虛實(shí)融合中的光影分析和處理日益重要。但迄今為止,鮮有虛實(shí)融合光影一致性分析與處理的專業(yè)書籍出版,影響了虛實(shí)融合沉浸式技術(shù)的發(fā)展,限制了虛實(shí)融合技術(shù)在多行業(yè)多場景的落地應(yīng)用。本書圍繞高真實(shí)感虛實(shí)融合中的光影計算這一主題,結(jié)合作者過去十余年的研究成果和國內(nèi)外前沿進(jìn)展,根據(jù)虛實(shí)融合技術(shù)的核心研究內(nèi)容撰寫而成。書中匯集了虛實(shí)融合光影計算的前沿核心算法,不僅介紹了相關(guān)技術(shù)的基本概念和算法,還較為詳細(xì)地闡述了虛實(shí)融合關(guān)鍵技術(shù)的算法原理和實(shí)現(xiàn),為廣大從事增強(qiáng)現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)、元宇宙技術(shù)與系統(tǒng)開發(fā)的研發(fā)人員提供了重要技術(shù)參考。
本書共7章。第1章為虛實(shí)融合概述,帶領(lǐng)讀者認(rèn)識虛實(shí)融合的一致性條件、虛實(shí)融合的基本流程及虛實(shí)融合與增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)/元宇宙等研究的關(guān)系,并對虛實(shí)融合的主要應(yīng)用領(lǐng)域進(jìn)行了闡述; 第2章針對虛實(shí)融合中的光影一致性問題,介紹光影計算的相關(guān)工作,包括自然場景的光影特點(diǎn)分析、光照計算的概念與流程、光照計算的已有方法; 第3章對室內(nèi)場景的光照計算方法進(jìn)行細(xì)化講解,包括空間變化的單幅圖像室內(nèi)光照自動重建方法、室內(nèi)場景動態(tài)光照的在線采集與計算方法及基于光照變化預(yù)測的深度室內(nèi)動態(tài)光照計算方法; 第4章重點(diǎn)說明室外場景的光照計算方法,包括基于交互的室外場景光照計算、基于統(tǒng)計學(xué)習(xí)的室外場景實(shí)時光照計算、基于基圖像分解的室外場景實(shí)時光照計算、無陰影的室外場景實(shí)時光照計算、基于完備天空光模型/球面調(diào)和函數(shù)的實(shí)時光照計算及移動視點(diǎn)下基于特征點(diǎn)跟蹤的實(shí)時光照計算; 第5章介紹本征圖像分解與圖像重光照技術(shù),詳細(xì)闡述兩種本征圖像分解技術(shù)、一種針對室外場景的重光照方法和一種針對人臉圖像的光照歸一化技術(shù); 第6章講解室外場景的陰影檢測與陰影去除技術(shù),以便為后續(xù)虛實(shí)陰影的交互模擬奠定基礎(chǔ),具體內(nèi)容包括兩種對于單幅圖像的陰影檢測方法、一種基于邊緣跟蹤的在線視頻陰影檢測技術(shù)和針對單幅圖像的陰影去除方法; 第7章闡述室外場景虛實(shí)景物的陰影相互投射與融合方法,包括虛擬景物在真實(shí)景物表面的陰影投射方法和兩種分別基于陰影體和陰影紋理來實(shí)現(xiàn)虛實(shí)陰影交互的方法。
全書由劉艷麗、邢冠宇和袁霞定稿。劉艷麗制定編寫大綱并撰寫了第1~4章的大部分內(nèi)容,邢冠宇和袁霞合作撰寫了第5~7章的內(nèi)容,袁霞還參與了第3章部分內(nèi)容的撰寫工作。魏后勝、張琦、楊雨泓、郭子昊、王振、劉桐源、邱匯迪、吳沂桓、汪志恒、張林成、李宏等研究生參與了材料的整理工作。
由于作者水平有限,書中疏漏之處在所難免,敬請讀者批評指正。
作者2025年5月
目錄
第1章虛實(shí)融合概述
1.1虛實(shí)融合的一致性條件
1.2虛實(shí)融合的基本流程
1.3虛實(shí)融合與增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)/元宇宙
1.4虛實(shí)融合的主要應(yīng)用領(lǐng)域
1.4.1軍事
1.4.2智能制造
1.4.3醫(yī)療
1.4.4教育
1.4.5文化旅游
1.4.6娛樂與游戲
第2章光影計算的相關(guān)工作
2.1自然場景的光影特點(diǎn)分析
2.1.1室外場景
2.1.2室內(nèi)場景
2.2光照計算的概念與流程
2.2.1從光源的入射光強(qiáng)到場景表面的照度
2.2.2從場景表面的照度到場景采樣點(diǎn)投向觀察方向的光亮度
2.2.3從場景采樣點(diǎn)投向觀察方向的光亮度到圖像的像素值
2.3光照計算的已有方法
2.3.1直接測量的方法
2.3.2基于采集的方法
2.3.3基于參數(shù)表達(dá)式逆向求解的方法
2.3.4基于深度學(xué)習(xí)的方法
第3章室內(nèi)場景的光照計算
3.1空間變化的單幅圖像室內(nèi)光照自動重建方法
3.1.1室內(nèi)光照模型
3.1.2室內(nèi)場景光照計算
3.1.3實(shí)驗結(jié)果
3.2室內(nèi)場景動態(tài)光照的在線采集與計算方法
3.2.1算法框架
3.2.2離線處理
3.2.3在線運(yùn)行
3.2.4實(shí)驗結(jié)果
3.3基于光照變化預(yù)測的深度室內(nèi)動態(tài)光照計算方法
3.3.1方法概述
3.3.2光照差值圖像的定義與生成
3.3.3光源掩膜的定義與生成
3.3.4網(wǎng)絡(luò)模塊與結(jié)構(gòu)
3.3.5損失函數(shù)
3.3.6實(shí)驗方案與結(jié)果分析
第4章室外場景的光照計算
4.1基于交互的室外場景光照計算
4.2基于統(tǒng)計學(xué)習(xí)的室外場景實(shí)時光照計算
4.2.1紋理圖像的統(tǒng)計分析
4.2.2室外光照模型
4.2.3光照的統(tǒng)計模型
4.2.4基于統(tǒng)計學(xué)習(xí)的光照參數(shù)計算框架
4.2.5系統(tǒng)實(shí)現(xiàn)
4.2.6實(shí)驗結(jié)果
4.2.7證明
4.3基于基圖像分解的室外場景實(shí)時光照計算
4.3.1線性模型
4.3.2基于基圖像分解的光照計算框架
4.3.3實(shí)驗結(jié)果
4.4無陰影的室外場景實(shí)時光照計算
4.4.1離線處理
4.4.2光照參數(shù)在線計算
4.4.3實(shí)驗結(jié)果
4.5基于完備天空光模型/球面調(diào)和函數(shù)的室外光照計算
4.5.1球面調(diào)和函數(shù)
4.5.2室外場景光照計算
4.5.3實(shí)驗結(jié)果
4.6移動視點(diǎn)下基于特征點(diǎn)跟蹤的實(shí)時光照計算
4.6.1方法概述
4.6.2光照參數(shù)計算
4.6.3特征點(diǎn)的選取
4.6.4特征點(diǎn)屬性傳遞
4.6.5實(shí)驗結(jié)果
第5章本征圖像分解與圖像重光照
5.1基于用戶交互的單幅室內(nèi)RGBD圖像本征圖像分解
5.1.1本征圖像模型
5.1.2遠(yuǎn)距離光源分布計算
5.1.3本征圖像分解
5.1.4實(shí)驗結(jié)果
5.2多光源混合環(huán)境下的單幅室內(nèi)RGBD圖像本征圖像分解
5.2.1混合光源本征圖像模型
5.2.2遠(yuǎn)距離光照恢復(fù)
5.2.3本征成分恢復(fù)
5.2.4實(shí)驗結(jié)果
5.3基于稀疏圖像的室外場景重光照
5.3.1室外場景光照模型
5.3.2室外場景重光照方法
5.3.3實(shí)驗結(jié)果
5.4基于非對稱生成對抗網(wǎng)絡(luò)的人臉圖像光照歸一化
5.4.1算法思路
5.4.2網(wǎng)絡(luò)結(jié)構(gòu)
5.4.3損失函數(shù)
5.4.4網(wǎng)絡(luò)的實(shí)現(xiàn)和優(yōu)化
5.4.5實(shí)驗結(jié)果
第6章室外場景的陰影檢測與陰影去除
6.1陰影檢測與陰影消除簡介
6.1.1陰影特征
6.1.2陰影檢測方法
6.1.3陰影去除算法
6.2基于集成學(xué)習(xí)的單幅圖像陰影檢測
6.2.1算法思路
6.2.2相對置信度圖預(yù)測網(wǎng)絡(luò)
6.2.3陰影圖生成
6.2.4訓(xùn)練策略
6.2.5實(shí)驗結(jié)果
6.3單幅圖像的陰影檢測算法評價
6.3.1網(wǎng)絡(luò)結(jié)構(gòu)
6.3.2質(zhì)量參考構(gòu)建模塊
6.3.3多模式質(zhì)量回歸模塊
6.3.4損失函數(shù)
6.3.5訓(xùn)練和測試策略
6.3.6實(shí)驗與結(jié)果分析
6.4基于邊緣跟蹤的在線視頻陰影檢測
6.4.1算法結(jié)構(gòu)概述
6.4.2跟蹤區(qū)域中陰影邊緣的校正
6.4.3新進(jìn)區(qū)域中陰影邊緣的預(yù)測和優(yōu)化
6.4.4實(shí)驗結(jié)果分析
6.5基于邊緣關(guān)注的單幅圖像陰影去除
6.5.1算法結(jié)構(gòu)概述
6.5.2交互模塊
6.5.3損失函數(shù)
6.5.4實(shí)現(xiàn)細(xì)節(jié)
6.5.5實(shí)驗結(jié)果
第7章室外場景虛實(shí)景物的陰影相互投射與融合
7.1虛擬景物在真實(shí)景物表面的陰影投射
7.1.1陰影投射方法
7.1.2軟影生成方法
7.2基于陰影體的虛實(shí)場景陰影交互
7.2.1陰影體的構(gòu)建與優(yōu)化方法
7.2.2基于陰影體的虛實(shí)陰影交互與融合方法
7.2.3實(shí)驗結(jié)果
7.3基于陰影紋理的虛實(shí)陰影交互
7.3.1真實(shí)陰影向虛擬景物表面的投射方法
7.3.2虛實(shí)陰影融合方法
7.3.3實(shí)驗結(jié)果
參考文獻(xiàn)