前言�オ�
虛實(shí)融合技術(shù)旨在將虛擬世界中的數(shù)字信息與現(xiàn)實(shí)世界中的物理環(huán)境相互融合，以實(shí)現(xiàn)對現(xiàn)實(shí)世界的信息增強(qiáng)與擴(kuò)充，是元宇宙、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)等領(lǐng)域的共性關(guān)鍵技術(shù)。借助于計算機(jī)圖形圖像處理、計算機(jī)視覺、認(rèn)知科學(xué)等理論與技術(shù)，虛實(shí)融合技術(shù)可實(shí)現(xiàn)虛擬物體與現(xiàn)實(shí)環(huán)境的自動注冊與融合，營造出虛擬世界與真實(shí)環(huán)境共享同一空間的沉浸式體驗，使科幻片中的場景成為可能。在現(xiàn)實(shí)生活中，外科醫(yī)生借助虛實(shí)融合的手術(shù)導(dǎo)航指引，顯著提高了手術(shù)的精準(zhǔn)性和安全性； 各大博物館紛紛推出了增強(qiáng)現(xiàn)實(shí)講解應(yīng)用，幫助游客更為生動、形象地了解每件藏品背后所蘊(yùn)藏的故事和文化； 利用虛實(shí)融合技術(shù)制作出的絢麗的舞臺效果通過電視屏幕呈現(xiàn)在千家萬戶面前�？梢钥吹剑�虛實(shí)融合技術(shù)已經(jīng)走入人們的現(xiàn)實(shí)生活，并影響著現(xiàn)代社會。

虛實(shí)融合的終極目標(biāo)是使虛擬景物與真實(shí)場景之間的融合毫無破綻。為了實(shí)現(xiàn)這一目標(biāo)，虛實(shí)融合系統(tǒng)需要滿足幾何一致性、光影一致性和交互一致性。其中，幾何一致性指虛擬物體與真實(shí)場景必須具有一致的幾何關(guān)系，包括與真實(shí)相機(jī)一致的位置姿態(tài)、協(xié)調(diào)的透視效果、正確的幾何遮擋等，虛擬物體注冊與相機(jī)跟蹤等技術(shù)是解決幾何一致性的主要手段； 光影一致性則需要虛擬物體與真實(shí)場景共享同一個光影環(huán)境，這要求虛擬物體的外觀應(yīng)與它們所處的真實(shí)場景一致，例如，虛擬物體應(yīng)與真實(shí)環(huán)境具有協(xié)調(diào)的亮度與顏色，同時還需要正確模擬虛、實(shí)場景之間的陰影投射效果及其他觀影效果，為了模擬上述效果，需要通過光照計算和陰影計算技術(shù)對真實(shí)場景的光影環(huán)境進(jìn)行建模，其中光照計算技術(shù)主要用于恢復(fù)場景的光照分布，陰影計算技術(shù)則主要解決真實(shí)陰影檢測與去除，以及虛實(shí)陰影相互投射與融合等問題； 交互一致性則要求虛實(shí)物體間的交互必須符合客觀規(guī)律，接受現(xiàn)實(shí)環(huán)境的約束。

我國對于虛實(shí)融合技術(shù)的研究始于20世紀(jì)90年代末。2009—2013年，浙江大學(xué)CAD&CG國家重點(diǎn)實(shí)驗室承擔(dān)的“混合現(xiàn)實(shí)的理論與方法”研究課題獲得國家重點(diǎn)基礎(chǔ)研究計劃（973計劃）立項資助，重點(diǎn)對混合現(xiàn)實(shí)的基礎(chǔ)理論與方法展開研究。虛實(shí)融合技術(shù)是這個項目的關(guān)鍵研究問題之一。本書作者在浙江大學(xué)攻讀碩士和博士學(xué)位時有幸參與了這個項目，重點(diǎn)研究虛實(shí)融合中的光影一致性問題，先后提出了若干真實(shí)場景的光影環(huán)境重建方法。參加工作后又得到四川省重點(diǎn)研發(fā)計劃“沉浸式文化旅游體驗關(guān)鍵技術(shù)研發(fā)及應(yīng)用示范”的資助，進(jìn)一步在該領(lǐng)域開展了深入、系統(tǒng)的研究，提出了虛實(shí)陰影交互及更為復(fù)雜的光影效果的模擬方法等，形成了光影計算理論與技術(shù)，所獲成果發(fā)表在IEEE TVCG、IEEE MM、CGF、ACM MM等重要學(xué)術(shù)期刊和會議上。

當(dāng)前，學(xué)術(shù)研究對虛實(shí)融合的三個一致性大多集中于幾何一致性研究。因為相機(jī)跟蹤等技術(shù)較為成熟，所以常用的增強(qiáng)現(xiàn)實(shí)軟件平臺(如蘋果ARKit、谷歌ARCore等)均配備了較為穩(wěn)定的相機(jī)定位跟蹤及地圖構(gòu)建功能。但是在光影一致性方面，僅有少數(shù)平臺具有簡單的光照計算功能，大多數(shù)平臺并不具備任何光照處理功能。隨著虛實(shí)融合的應(yīng)用日益深入，人們對融合的外觀品質(zhì)的要求越來越高，虛實(shí)融合中的光影分析和處理日益重要。但迄今為止，鮮有虛實(shí)融合光影一致性分析與處理的專業(yè)書籍出版，影響了虛實(shí)融合沉浸式技術(shù)的發(fā)展，限制了虛實(shí)融合技術(shù)在多行業(yè)多場景的落地應(yīng)用。本書圍繞高真實(shí)感虛實(shí)融合中的光影計算這一主題，結(jié)合作者過去十余年的研究成果和國內(nèi)外前沿進(jìn)展，根據(jù)虛實(shí)融合技術(shù)的核心研究內(nèi)容撰寫而成。書中匯集了虛實(shí)融合光影計算的前沿核心算法，不僅介紹了相關(guān)技術(shù)的基本概念和算法，還較為詳細(xì)地闡述了虛實(shí)融合關(guān)鍵技術(shù)的算法原理和實(shí)現(xiàn)，為廣大從事增強(qiáng)現(xiàn)實(shí)、擴(kuò)展現(xiàn)實(shí)、元宇宙技術(shù)與系統(tǒng)開發(fā)的研發(fā)人員提供了重要技術(shù)參考。
本書共7章。第1章為虛實(shí)融合概述，帶領(lǐng)讀者認(rèn)識虛實(shí)融合的一致性條件、虛實(shí)融合的基本流程及虛實(shí)融合與增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)/擴(kuò)展現(xiàn)實(shí)/元宇宙等研究的關(guān)系，并對虛實(shí)融合的主要應(yīng)用領(lǐng)域進(jìn)行了闡述； 第2章針對虛實(shí)融合中的光影一致性問題，介紹光影計算的相關(guān)工作，包括自然場景的光影特點(diǎn)分析、光照計算的概念與流程、光照計算的已有方法； 第3章對室內(nèi)場景的光照計算方法進(jìn)行細(xì)化講解，包括空間變化的單幅圖像室內(nèi)光照自動重建方法、室內(nèi)場景動態(tài)光照的在線采集與計算方法及基于光照變化預(yù)測的深度室內(nèi)動態(tài)光照計算方法； 第4章重點(diǎn)說明室外場景的光照計算方法，包括基于交互的室外場景光照計算、基于統(tǒng)計學(xué)習(xí)的室外場景實(shí)時光照計算、基于基圖像分解的室外場景實(shí)時光照計算、無陰影的室外場景實(shí)時光照計算、基于完備天空光模型/球面調(diào)和函數(shù)的實(shí)時光照計算及移動視點(diǎn)下基于特征點(diǎn)跟蹤的實(shí)時光照計算； 第5章介紹本征圖像分解與圖像重光照技術(shù)，詳細(xì)闡述兩種本征圖像分解技術(shù)、一種針對室外場景的重光照方法和一種針對人臉圖像的光照歸一化技術(shù)； 第6章講解室外場景的陰影檢測與陰影去除技術(shù)，以便為后續(xù)虛實(shí)陰影的交互模擬奠定基礎(chǔ)，具體內(nèi)容包括兩種對于單幅圖像的陰影檢測方法、一種基于邊緣跟蹤的在線視頻陰影檢測技術(shù)和針對單幅圖像的陰影去除方法； 第7章闡述室外場景虛實(shí)景物的陰影相互投射與融合方法，包括虛擬景物在真實(shí)景物表面的陰影投射方法和兩種分別基于陰影體和陰影紋理來實(shí)現(xiàn)虛實(shí)陰影交互的方法。

全書由劉艷麗、邢冠宇和袁霞定稿。劉艷麗制定編寫大綱并撰寫了第1～4章的大部分內(nèi)容，邢冠宇和袁霞合作撰寫了第5～7章的內(nèi)容，袁霞還參與了第3章部分內(nèi)容的撰寫工作。魏后勝、張琦、楊雨泓、郭子昊、王振、劉桐源、邱匯迪、吳沂桓、汪志恒、張林成、李宏等研究生參與了材料的整理工作。

由于作者水平有限，書中疏漏之處在所難免，敬請讀者批評指正。
作者2025年5月