目錄
“智能人機交互前沿技術(shù)叢書”序
前言
第1章 虛實融合交互系統(tǒng)概述 1
1.1 虛實融合交互概念內(nèi)涵 1
1.2 虛實融合交互操作系統(tǒng)簡介 4
1.3 三維引擎簡介 5
1.3.1 三維引擎的發(fā)展 6
1.3.2 三維引擎與硬件的關(guān)系 8
1.3.3 三維引擎的應用技術(shù) 8
1.4 操作系統(tǒng)和虛實融合操作系統(tǒng) 10
1.5 本章小結(jié) 13
第2章 OpenHarmony操作系統(tǒng)概述 15
2.1 OpenHarmony發(fā)展歷程 15
2.2 OpenHarmony操作系統(tǒng)架構(gòu)介紹 16
2.2.1 技術(shù)特性 16
2.2.2 系統(tǒng)類型 17
2.2.3 系統(tǒng)架構(gòu) 18
2.3 OpenHarmony應用開發(fā)框架ArkUI介紹 20
2.4 本章小結(jié) 21
第3章 OpenHarmony應用開發(fā)入門 22
3.1 OpenHarmony應用開發(fā)之運行HelloWorld 22
3.2 OpenHarmony應用安裝與調(diào)試 24
3.2.1 預覽器使用與log調(diào)試 24
3.2.2 開發(fā)板運行程序與HDC使用 27
3.2.3 Debug調(diào)試 28
3.3 ArkUI入門 30
3.3.1 HelloWorld工程詳解 30
3.3.2 聲明式UI描述 31
3.3.3 UI數(shù)據(jù)渲染 32
3.3.4 常用UI組件和布局 37
3.3.5 頁面路由與組件導航 40
3.3.6 案例：直播平臺首頁 41
3.4 本章小結(jié) 44
第4章 OpenHarmony多媒體應用開發(fā) 45
4.1 OpenHarmony圖形開發(fā) 45
4.1.1 Image組件使用 45
4.1.2 繪制幾何圖形 49
4.1.3 Canvas繪制自定義圖形 52
4.1.4 案例：繪制一個儀表盤 55
4.2 OpenHarmony動畫開發(fā) 58
4.2.1 屬性動畫 58
4.2.2 顯式動畫 62
4.2.3 轉(zhuǎn)場動畫 64
4.2.4 路徑動畫 74
4.2.5 案例：星空特效 75
4.3 OpenHarmony音視頻錄制 81
4.3.1 權(quán)限申請 81
4.3.2 音視頻錄制實現(xiàn)流程與相關(guān)接口 84
4.3.3 相機拍照實現(xiàn)流程與相關(guān)接口 88
4.3.4 相機錄制視頻實現(xiàn)流程與相關(guān)接口 94
4.3.5 案例：音視頻錄制 98
4.4 本章小結(jié) 111
第5章 OpenHarmony分布式特性開發(fā) 112
5.1 OpenHarmony分布式技術(shù)特性 112
5.1.1 硬件互助、資源共享 112
5.1.2 分布式軟總線 112
5.2 分布式流轉(zhuǎn)開發(fā) 113
5.2.1 分布式流轉(zhuǎn)簡介 113
5.2.2 分布式跨端遷移開發(fā) 115
5.2.3 分布式多端協(xié)同開發(fā) 119
5.3 分布式數(shù)據(jù)同步開發(fā) 125
5.3.1 分布式數(shù)據(jù)同步簡介 125
5.3.2 鍵值型數(shù)據(jù)庫分布式開發(fā) 126
5.3.3 關(guān)系型數(shù)據(jù)庫分布式開發(fā) 135
5.3.4 分布式數(shù)據(jù)對象開發(fā) 141
5.4 本章小結(jié) 151
第6章 OpenHarmony內(nèi)核圖形子系統(tǒng)概述 152
6.1 Linux圖形子系統(tǒng) 152
6.1.1 Linux GUI 152
6.1.2 Linux窗口系統(tǒng) 153
6.1.3 Linux X11 153
6.1.4 Wayland 155
6.1.5 3D渲染、硬件加速和OpenGL 157
6.2 OpenHarmony Graphic圖形子系統(tǒng) 159
6.2.1 Graphic系統(tǒng)架構(gòu) 159
6.2.2 Graphic簡介 160
6.2.3 Graphic系統(tǒng)源碼目錄結(jié)構(gòu) 170
6.3 本章小結(jié) 174
第7章 NIBIRU引擎概述 175
7.1 NIBIRU引擎簡介 175
7.2 NIBIRU引擎編輯器 175
7.2.1 菜單欄 176
7.2.2 資源窗口 176
7.2.3 場景編輯窗口 177
7.2.4 控件窗口 177
7.2.5 場景管理窗口 177
7.2.6 屬性窗口 178
7.2.7 視圖導航及工具欄 179
7.2.8 快捷鍵定義 182
7.2.9 外部資源的導入 182
7.3 編輯器內(nèi)置控件 183
7.3.1 添加內(nèi)置控件到場景 183
7.3.2 添加內(nèi)置組件到對象 183
7.3.3 自定義組件 184
7.4 NIBIRU引擎腳本系統(tǒng) 185
7.4.1 代碼開發(fā)環(huán)境的配置 185
7.4.2 了解面向組件開發(fā) 186
7.4.3 創(chuàng)建自定義腳本組件 187
7.4.4 事件函數(shù)的執(zhí)行順序 189
7.4.5 項目目錄結(jié)構(gòu)說明 194
7.4.6 腳本序列化 195
7.4.7 腳本反射 196
7.5 NIBIRU引擎基本模塊 200
7.5.1 基本對象 200
7.5.2 對象管理器 201
7.5.3 變換組件 202
7.6 NIBIRU引擎組件 202
7.6.1 模型組件 202
7.6.2 攝像機組件 204
7.6.3 粒子系統(tǒng) 204
7.6.4 UI系統(tǒng)組件 208
7.6.5 物理系統(tǒng)組件 215
7.6.6 燈光組件 217
7.6.7 音效組件 218
7.6.8 網(wǎng)絡組件 219
7.6.9 JSON解析組件 219
7.7 NIBIRU引擎系統(tǒng)模塊 219
7.7.1 事件系統(tǒng) 219
7.7.2 資源系統(tǒng) 226
7.7.3 時間管理系統(tǒng) 228
7.7.4 場景管理系統(tǒng) 229
7.7.5 圖像系統(tǒng) 229
7.7.6 數(shù)據(jù)持久化 229
7.7.7 自定義材質(zhì)系統(tǒng) 230
7.8 本章小結(jié) 234
第8章 NIBIRU引擎應用開發(fā)實戰(zhàn) 235
8.1 NIBIRU引擎開發(fā)環(huán)境搭建 235
8.2 NIBIRU引擎應用開發(fā)案例——XR Launcher 235
8.2.1 創(chuàng)建項目工程 235
8.2.2 項目使用的資源導入 235
8.2.3 Launcher界面布局 236
8.2.4 創(chuàng)建AppManager腳本組件 242
8.2.5 編寫AppManager組件功能 242
8.2.6 應用打包 256
8.3 本章小結(jié) 257
第9章 OpenHarmony虛實融合交互——融智OS 258
9.1 融智OS框架概述 258
9.1.1 融智OS框架 258
9.1.2 融智OS組件 259
9.2 融智OS功能特性 261
9.2.1 系統(tǒng)低延遲渲染特性 261
9.2.2 系統(tǒng)高性能調(diào)度特性 267
9.2.3 光學預處理特性 269
9.2.4 頭部姿態(tài)跟蹤交互特性 272
9.2.5 空間多窗口交互特性 274
9.2.6 虛實融合交互特性 276
9.3 融智OS的虛實融合渲染 281
9.3.1 融智OS的虛實融合渲染框架 281
9.3.2 融智OS的虛實融合渲染工作流 284
9.4 本章小結(jié) 285
第10章 融智OS應用開發(fā) 286
10.1 OpenHarmony Native開發(fā) 286
10.1.1 Native API應用工程創(chuàng)建 286
10.1.2 Native API開發(fā)流程 288
10.2 XComponent整合OpenGL開發(fā) 292
10.2.1 XComponent基本使用 292
10.2.2 OpenGL使用C++繪制圖形 294
10.3 基于NIBIRU引擎的開發(fā) 300
10.3.1 NIBIRU引擎在OpenHarmony中的相關(guān)API介紹 300
10.3.2 NIBIRU引擎在OpenHarmony中的開發(fā)調(diào)試介紹 303
10.4 本章小結(jié) 305
第11章 趨勢與展望 306