前言�オ�
虛實(shí)融合技術(shù)旨在將虛擬世界中的數(shù)字信息與現(xiàn)實(shí)世界中的物理環(huán)境相互融合，以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界的信息增強(qiáng)與擴(kuò)充，是元宇宙、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)等領(lǐng)域的共性關(guān)鍵技術(shù)。借助于計(jì)算機(jī)圖形圖像處理、計(jì)算機(jī)視覺、認(rèn)知科學(xué)等理論與技術(shù)，虛實(shí)融合技術(shù)可實(shí)現(xiàn)虛擬物體與現(xiàn)實(shí)環(huán)境的自動(dòng)注冊(cè)與融合，營(yíng)造出虛擬世界與真實(shí)環(huán)境共享同一空間的沉浸式體驗(yàn)，使科幻片中的場(chǎng)景成為可能。在現(xiàn)實(shí)生活中，外科醫(yī)生借助虛實(shí)融合的手術(shù)導(dǎo)航指引，顯著提高了手術(shù)的精準(zhǔn)性和安全性； 各大博物館紛紛推出了增強(qiáng)現(xiàn)實(shí)講解應(yīng)用，幫助游客更為生動(dòng)、形象地了解每件藏品背后所蘊(yùn)藏的故事和文化； 利用虛實(shí)融合技術(shù)制作出的絢麗的舞臺(tái)效果通過電視屏幕呈現(xiàn)在千家萬戶面前�？梢钥吹�，虛實(shí)融合技術(shù)已經(jīng)走入人們的現(xiàn)實(shí)生活，并影響著現(xiàn)代社會(huì)。

虛實(shí)融合的終極目標(biāo)是使虛擬景物與真實(shí)場(chǎng)景之間的融合毫無破綻。為了實(shí)現(xiàn)這一目標(biāo)，虛實(shí)融合系統(tǒng)需要滿足幾何一致性、光影一致性和交互一致性。其中，幾何一致性指虛擬物體與真實(shí)場(chǎng)景必須具有一致的幾何關(guān)系，包括與真實(shí)相機(jī)一致的位置姿態(tài)、協(xié)調(diào)的透視效果、正確的幾何遮擋等，虛擬物體注冊(cè)與相機(jī)跟蹤等技術(shù)是解決幾何一致性的主要手段； 光影一致性則需要虛擬物體與真實(shí)場(chǎng)景共享同一個(gè)光影環(huán)境，這要求虛擬物體的外觀應(yīng)與它們所處的真實(shí)場(chǎng)景一致，例如，虛擬物體應(yīng)與真實(shí)環(huán)境具有協(xié)調(diào)的亮度與顏色，同時(shí)還需要正確模擬虛、實(shí)場(chǎng)景之間的陰影投射效果及其他觀影效果，為了模擬上述效果，需要通過光照計(jì)算和陰影計(jì)算技術(shù)對(duì)真實(shí)場(chǎng)景的光影環(huán)境進(jìn)行建模，其中光照計(jì)算技術(shù)主要用于恢復(fù)場(chǎng)景的光照分布，陰影計(jì)算技術(shù)則主要解決真實(shí)陰影檢測(cè)與去除，以及虛實(shí)陰影相互投射與融合等問題； 交互一致性則要求虛實(shí)物體間的交互必須符合客觀規(guī)律，接受現(xiàn)實(shí)環(huán)境的約束。

我國(guó)對(duì)于虛實(shí)融合技術(shù)的研究始于20世紀(jì)90年代末。2009—2013年，浙江大學(xué)CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室承擔(dān)的“混合現(xiàn)實(shí)的理論與方法”研究課題獲得國(guó)家重點(diǎn)基礎(chǔ)研究計(jì)劃（973計(jì)劃）立項(xiàng)資助，重點(diǎn)對(duì)混合現(xiàn)實(shí)的基礎(chǔ)理論與方法展開研究。虛實(shí)融合技術(shù)是這個(gè)項(xiàng)目的關(guān)鍵研究問題之一。本書作者在浙江大學(xué)攻讀碩士和博士學(xué)位時(shí)有幸參與了這個(gè)項(xiàng)目，重點(diǎn)研究虛實(shí)融合中的光影一致性問題，先后提出了若干真實(shí)場(chǎng)景的光影環(huán)境重建方法。參加工作后又得到四川省重點(diǎn)研發(fā)計(jì)劃“沉浸式文化旅游體驗(yàn)關(guān)鍵技術(shù)研發(fā)及應(yīng)用示范”的資助，進(jìn)一步在該領(lǐng)域開展了深入、系統(tǒng)的研究，提出了虛實(shí)陰影交互及更為復(fù)雜的光影效果的模擬方法等，形成了光影計(jì)算理論與技術(shù)，所獲成果發(fā)表在IEEE TVCG、IEEE MM、CGF、ACM MM等重要學(xué)術(shù)期刊和會(huì)議上。

當(dāng)前，學(xué)術(shù)研究對(duì)虛實(shí)融合的三個(gè)一致性大多集中于幾何一致性研究。因?yàn)橄鄼C(jī)跟蹤等技術(shù)較為成熟，所以常用的增強(qiáng)現(xiàn)實(shí)軟件平臺(tái)(如蘋果ARKit、谷歌ARCore等)均配備了較為穩(wěn)定的相機(jī)定位跟蹤及地圖構(gòu)建功能。但是在光影一致性方面，僅有少數(shù)平臺(tái)具有簡(jiǎn)單的光照計(jì)算功能，大多數(shù)平臺(tái)并不具備任何光照處理功能。隨著虛實(shí)融合的應(yīng)用日益深入，人們對(duì)融合的外觀品質(zhì)的要求越來越高，虛實(shí)融合中的光影分析和處理日益重要。但迄今為止，鮮有虛實(shí)融合光影一致性分析與處理的專業(yè)書籍出版，影響了虛實(shí)融合沉浸式技術(shù)的發(fā)展，限制了虛實(shí)融合技術(shù)在多行業(yè)多場(chǎng)景的落地應(yīng)用。本書圍繞高真實(shí)感虛實(shí)融合中的光影計(jì)算這一主題，結(jié)合作者過去十余年的研究成果和國(guó)內(nèi)外前沿進(jìn)展，根據(jù)虛實(shí)融合技術(shù)的核心研究?jī)?nèi)容撰寫而成。書中匯集了虛實(shí)融合光影計(jì)算的前沿核心算法，不僅介紹了相關(guān)技術(shù)的基本概念和算法，還較為詳細(xì)地闡述了虛實(shí)融合關(guān)鍵技術(shù)的算法原理和實(shí)現(xiàn)，為廣大從事增強(qiáng)現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)、元宇宙技術(shù)與系統(tǒng)開發(fā)的研發(fā)人員提供了重要技術(shù)參考。
本書共7章。第1章為虛實(shí)融合概述，帶領(lǐng)讀者認(rèn)識(shí)虛實(shí)融合的一致性條件、虛實(shí)融合的基本流程及虛實(shí)融合與增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)/元宇宙等研究的關(guān)系，并對(duì)虛實(shí)融合的主要應(yīng)用領(lǐng)域進(jìn)行了闡述； 第2章針對(duì)虛實(shí)融合中的光影一致性問題，介紹光影計(jì)算的相關(guān)工作，包括自然場(chǎng)景的光影特點(diǎn)分析、光照計(jì)算的概念與流程、光照計(jì)算的已有方法； 第3章對(duì)室內(nèi)場(chǎng)景的光照計(jì)算方法進(jìn)行細(xì)化講解，包括空間變化的單幅圖像室內(nèi)光照自動(dòng)重建方法、室內(nèi)場(chǎng)景動(dòng)態(tài)光照的在線采集與計(jì)算方法及基于光照變化預(yù)測(cè)的深度室內(nèi)動(dòng)態(tài)光照計(jì)算方法； 第4章重點(diǎn)說明室外場(chǎng)景的光照計(jì)算方法，包括基于交互的室外場(chǎng)景光照計(jì)算、基于統(tǒng)計(jì)學(xué)習(xí)的室外場(chǎng)景實(shí)時(shí)光照計(jì)算、基于基圖像分解的室外場(chǎng)景實(shí)時(shí)光照計(jì)算、無陰影的室外場(chǎng)景實(shí)時(shí)光照計(jì)算、基于完備天空光模型/球面調(diào)和函數(shù)的實(shí)時(shí)光照計(jì)算及移動(dòng)視點(diǎn)下基于特征點(diǎn)跟蹤的實(shí)時(shí)光照計(jì)算； 第5章介紹本征圖像分解與圖像重光照技術(shù)，詳細(xì)闡述兩種本征圖像分解技術(shù)、一種針對(duì)室外場(chǎng)景的重光照方法和一種針對(duì)人臉圖像的光照歸一化技術(shù)； 第6章講解室外場(chǎng)景的陰影檢測(cè)與陰影去除技術(shù)，以便為后續(xù)虛實(shí)陰影的交互模擬奠定基礎(chǔ)，具體內(nèi)容包括兩種對(duì)于單幅圖像的陰影檢測(cè)方法、一種基于邊緣跟蹤的在線視頻陰影檢測(cè)技術(shù)和針對(duì)單幅圖像的陰影去除方法； 第7章闡述室外場(chǎng)景虛實(shí)景物的陰影相互投射與融合方法，包括虛擬景物在真實(shí)景物表面的陰影投射方法和兩種分別基于陰影體和陰影紋理來實(shí)現(xiàn)虛實(shí)陰影交互的方法。

全書由劉艷麗、邢冠宇和袁霞定稿。劉艷麗制定編寫大綱并撰寫了第1～4章的大部分內(nèi)容，邢冠宇和袁霞合作撰寫了第5～7章的內(nèi)容，袁霞還參與了第3章部分內(nèi)容的撰寫工作。魏后勝、張琦、楊雨泓、郭子昊、王振、劉桐源、邱匯迪、吳沂桓、汪志恒、張林成、李宏等研究生參與了材料的整理工作。

由于作者水平有限，書中疏漏之處在所難免，敬請(qǐng)讀者批評(píng)指正。
作者2025年5月