本書詳細(xì)介紹了基于大模型的生成式AI開發(fā)技術(shù)，涵蓋了自然語言處理、語音識別及計算機視覺與圖像生成等不同領(lǐng)域。首先在比對生成式AI與判別式AI的基礎(chǔ)之上，講解了大模型的基礎(chǔ)知識及相關(guān)應(yīng)用技巧，從文本向量化入手深入剖析了轉(zhuǎn)換器架構(gòu)的各項核心技術(shù)，通過豐富的示例闡述了大模型處理相關(guān)任務(wù)時的代碼實現(xiàn)、模型加載、數(shù)據(jù)預(yù)處理和流水線等機制；隨后深入探討了在大模型部署過程中對算力及存儲需求的估算方法，揭示了模型性能與模型規(guī)模之間的冪律關(guān)系；最后詳細(xì)介紹了大模型的分布式預(yù)訓(xùn)練技術(shù)與高效的參數(shù)微調(diào)方法，還針對大模型對齊人類偏好的一些技術(shù)和算法進(jìn)行了專門講解。