定 價(jià):46 元
叢書(shū)名:大數(shù)據(jù)應(yīng)用人才培養(yǎng)系列教材
當(dāng)前圖書(shū)已被 12 所學(xué)校薦購(gòu)過(guò)!
查看明細(xì)
- 作者:總主編 劉鵬 張燕 主編 劉鵬
- 出版時(shí)間:2019/6/1
- ISBN:9787302528449
- 出 版 社:清華大學(xué)出版社
- 中圖法分類(lèi):TP274
- 頁(yè)碼:
- 紙張:膠版紙
- 版次:
- 開(kāi)本:16開(kāi)
本書(shū)是由中國(guó)大數(shù)據(jù)應(yīng)用聯(lián)盟人工智能專(zhuān)家委員會(huì)主任劉鵬教授主編的一本系統(tǒng)學(xué)習(xí)數(shù)據(jù)標(biāo)注技術(shù)的教材。本書(shū)使用淺顯易懂的語(yǔ)言,系統(tǒng)地介紹了數(shù)據(jù)標(biāo)注的基本概念、分類(lèi)、流程、質(zhì)量檢驗(yàn)、管理和應(yīng)用等。通過(guò)理論與實(shí)戰(zhàn)相結(jié)合的方式,幫助讀者由淺入深進(jìn)行學(xué)習(xí),從而真正掌握數(shù)據(jù)標(biāo)注的核心技術(shù)、實(shí)施和管理方法。本書(shū)既可以作為培養(yǎng)應(yīng)用型人才的課程教材,也適用于初學(xué)者,以及廣大的數(shù)據(jù)標(biāo)注行業(yè)從業(yè)者。數(shù)據(jù)標(biāo)注行業(yè)迅速成長(zhǎng),目前正缺乏一本權(quán)威教材,希望本書(shū)能夠填補(bǔ)這個(gè)空白。
隨著人工智能技術(shù)的迅猛發(fā)展,數(shù)據(jù)標(biāo)注行業(yè)也異軍突起。本書(shū)是為了能夠更系統(tǒng)地培養(yǎng)數(shù)據(jù)標(biāo)注工程師而編寫(xiě)的,從數(shù)據(jù)標(biāo)注基本概念開(kāi)始,介紹數(shù)據(jù)標(biāo)注的前世今生以及發(fā)展趨勢(shì),然后系統(tǒng)地梳理了數(shù)據(jù)標(biāo)注分類(lèi)及數(shù)據(jù)標(biāo)注流程,再對(duì)數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)和數(shù)據(jù)標(biāo)注管理進(jìn)行了詳細(xì)介紹,*后分析學(xué)習(xí)在熱門(mén)行業(yè)中數(shù)據(jù)標(biāo)注的應(yīng)用,對(duì)四大重點(diǎn)行業(yè)給出數(shù)據(jù)標(biāo)注實(shí)戰(zhàn)案例。
有多少智能,就有多少人工。隨著人工智能技術(shù)突飛猛進(jìn)地發(fā)展,數(shù)據(jù)標(biāo)注行業(yè)也隨之異軍突起。經(jīng)過(guò)短短幾年的發(fā)展,我國(guó)專(zhuān)職從事數(shù)據(jù)標(biāo)注行業(yè)的人員已經(jīng)突破20萬(wàn),兼職人員的數(shù)量突破100萬(wàn)。在未來(lái)5年,專(zhuān)職數(shù)據(jù)標(biāo)注工程師的缺口將高達(dá)100萬(wàn)。人工智能行業(yè)巨頭紛紛尋找專(zhuān)業(yè)的數(shù)據(jù)標(biāo)注工程師,但目前接受過(guò)系統(tǒng)培訓(xùn)的數(shù)據(jù)標(biāo)注工程師少之
又少。
早期的數(shù)據(jù)標(biāo)注工作是由專(zhuān)門(mén)研究人工智能算法的工程師進(jìn)行小規(guī)模的數(shù)據(jù)標(biāo)注,但在人工智能第三次浪潮之下,小規(guī)模的數(shù)據(jù)標(biāo)注已經(jīng)不能滿(mǎn)足人工智能的發(fā)展需求,所以在2011年開(kāi)始出現(xiàn)專(zhuān)門(mén)從事數(shù)據(jù)標(biāo)注工作的團(tuán)隊(duì),并且慢慢形成了數(shù)據(jù)標(biāo)注行業(yè)。從2017年開(kāi)始,人工智能的應(yīng)用開(kāi)始呈爆炸式增長(zhǎng),大規(guī)模的數(shù)據(jù)標(biāo)注需求涌入,讓數(shù)據(jù)標(biāo)注行業(yè)迎來(lái)真正的爆發(fā),正式進(jìn)入人們的視野。
在快速膨脹的需求與國(guó)家扶持政策的推動(dòng)下,全國(guó)高職、中職院校紛紛啟動(dòng)數(shù)據(jù)標(biāo)注應(yīng)用型人才培養(yǎng)計(jì)劃。然而,數(shù)據(jù)標(biāo)注專(zhuān)業(yè)建設(shè)卻面臨重重困難。首先,數(shù)據(jù)標(biāo)注是一個(gè)新生事物,懂?dāng)?shù)據(jù)標(biāo)注的教師少之又少,院校缺人;其次,尚未形成完善的數(shù)據(jù)標(biāo)注人才培養(yǎng)和課程體系,院校缺機(jī)制;最后,院校沒(méi)有數(shù)據(jù)標(biāo)注項(xiàng)目,開(kāi)展數(shù)據(jù)標(biāo)注教學(xué)實(shí)踐工作缺原材料。
為了能夠更系統(tǒng)地培養(yǎng)數(shù)據(jù)標(biāo)注工程師,我們的團(tuán)隊(duì)經(jīng)過(guò)大量的市場(chǎng)考察與調(diào)研,深入了解數(shù)據(jù)標(biāo)注行業(yè),對(duì)數(shù)據(jù)標(biāo)注各個(gè)環(huán)節(jié)進(jìn)行調(diào)查整理,推出了這本教材。本書(shū)先從數(shù)據(jù)標(biāo)注基本概念開(kāi)始,介紹數(shù)據(jù)標(biāo)注的前世今生以及發(fā)展趨勢(shì),然后系統(tǒng)地梳理了數(shù)據(jù)標(biāo)注分類(lèi)及數(shù)據(jù)標(biāo)注流程,再對(duì)數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)和數(shù)據(jù)標(biāo)注管理進(jìn)行詳細(xì)介紹,最后分析學(xué)習(xí)熱門(mén)行業(yè)數(shù)據(jù)標(biāo)注應(yīng)用,對(duì)四大重點(diǎn)行業(yè)進(jìn)行數(shù)據(jù)標(biāo)注實(shí)戰(zhàn)。本書(shū)致力于將理論與實(shí)踐結(jié)合在一起,讓讀者真正掌握數(shù)據(jù)標(biāo)注的核心技術(shù)。
VIII 數(shù)據(jù)標(biāo)注工程
本書(shū)是集體智慧的結(jié)晶,在此謹(jǐn)向付出辛勤勞動(dòng)的各位作者致敬!書(shū)
中難免會(huì)有不當(dāng)之處,請(qǐng)讀者不吝賜教。我的郵箱:gloud@126.com,微信
公眾號(hào):劉鵬看未來(lái)(lpoutlook)。
劉鵬 教授
于南京大數(shù)據(jù)研究院
2019 年1 月1 日
劉鵬 清華大學(xué)博士畢業(yè),F(xiàn)任中國(guó)大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟副理事長(zhǎng)、中國(guó)大數(shù)據(jù)應(yīng)用聯(lián)盟人工智能委員會(huì)主任、中國(guó)云計(jì)算專(zhuān)家咨詢(xún)委員會(huì)專(zhuān)家委員、工業(yè)和信息化部云計(jì)算研究中心專(zhuān)家。
第1章 數(shù)據(jù)標(biāo)注概述…………………………………………1
1.1 數(shù)據(jù)標(biāo)注的起源與發(fā)展…………………………………………1
1.1.1 什么是數(shù)據(jù)標(biāo)注 …………………………………………3
1.1.2 數(shù)據(jù)標(biāo)注分類(lèi)概述 ………………………………………4
1.1.3 數(shù)據(jù)標(biāo)注流程概述 ………………………………………6
1.2 數(shù)據(jù)標(biāo)注的應(yīng)用場(chǎng)景……………………………………… 7
1.2.1 出行行業(yè) …………………………………………………7
1.2.2 金融行業(yè) …………………………………………………8
1.2.3 醫(yī)療行業(yè) …………………………………………………8
1.2.4 家居行業(yè) …………………………………………………8
1.2.5 安防行業(yè) …………………………………………………9
1.2.6 公共服務(wù) …………………………………………………9
1.2.7 電子商務(wù) …………………………………………………10
1.3 有多少智能,就有多少人工……………………………………10
1.3.1 有監(jiān)督的機(jī)器學(xué)習(xí) ………………………………………10
1.3.2 最后一批人工智能的老師 ……………………………11
1.4 數(shù)據(jù)越多,智能越好……………………………………………12
1.5 作業(yè)與練習(xí)………………………………………………………14
參考文獻(xiàn)… ……………………………………………………………14
第2章 數(shù)據(jù)采集與清洗………………………………………16
2.1 標(biāo)注對(duì)象…………………………………………………………16
2.1.1 主要的數(shù)據(jù)來(lái)源 …………………………………………16
2.1.2 常見(jiàn)的標(biāo)注數(shù)據(jù) …………………………………………17
X 數(shù)據(jù)標(biāo)注工程
2.2 數(shù)據(jù)采集………………………………………………………… 18
2.2.1 數(shù)據(jù)采集方法 …………………………………………… 18
2.2.2 數(shù)據(jù)采集流程 …………………………………………… 19
2.2.3 標(biāo)注數(shù)據(jù)采集 …………………………………………… 20
2.3 數(shù)據(jù)清洗…………………………………………………………23
2.3.1 數(shù)據(jù)清洗方法 …………………………………………… 24
2.3.2 數(shù)據(jù)清洗流程 …………………………………………… 26
2.3.3 MapReduce 數(shù)據(jù)去重 …………………………………… 26
2.4 作業(yè)與練習(xí)………………………………………………………28
參考文獻(xiàn)… ……………………………………………………………28
第3 章 數(shù)據(jù)標(biāo)注分類(lèi)…………………………………………29
3.1 圖像標(biāo)注…………………………………………………………29
3.1.1 什么是圖像標(biāo)注 ………………………………………… 29
3.1.2 圖像標(biāo)注應(yīng)用領(lǐng)域 ……………………………………… 30
3.2 語(yǔ)音標(biāo)注…………………………………………………………35
3.2.1 什么是語(yǔ)音標(biāo)注 ………………………………………… 35
3.2.2 客服錄音數(shù)據(jù)標(biāo)注規(guī)范 ………………………………… 35
3.3 文本標(biāo)注…………………………………………………………38
3.3.1 什么是文本標(biāo)注 ………………………………………… 38
3.3.2 文本標(biāo)注應(yīng)用領(lǐng)域 ……………………………………… 38
3.4 作業(yè)與練習(xí)……………………………………………………… 41
參考文獻(xiàn)… …………………………………………………………… 41
第4 章 數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)……………………………………42
4.1 數(shù)據(jù)質(zhì)量影響算法效果…………………………………………42
4.2 數(shù)據(jù)標(biāo)注質(zhì)量標(biāo)準(zhǔn)………………………………………………44
4.2.1 圖像標(biāo)注質(zhì)量標(biāo)準(zhǔn) ……………………………………… 44
4.2.2 語(yǔ)音標(biāo)注質(zhì)量標(biāo)準(zhǔn) ……………………………………… 47
4.2.3 文本標(biāo)注質(zhì)量標(biāo)準(zhǔn) ……………………………………… 48
4.3 數(shù)據(jù)標(biāo)注質(zhì)量檢驗(yàn)方法…………………………………………48
4.3.1 實(shí)時(shí)檢驗(yàn) ………………………………………………… 48
目 錄XI
4.3.2 全樣檢驗(yàn) ………………………………………………… 50
4.3.3 抽樣檢驗(yàn) ………………………………………………… 50
4.4 作業(yè)與練習(xí)………………………………………………………53
參考文獻(xiàn)… ……………………………………………………………53
第5 章 數(shù)據(jù)標(biāo)注管理………………………………………… 55
5.1 數(shù)據(jù)標(biāo)注工廠設(shè)計(jì)………………………………………………55
5.2 數(shù)據(jù)標(biāo)注管理架構(gòu)………………………………………………59
5.3 數(shù)據(jù)安全管理與質(zhì)量管理體系…………………………………60
5.3.1 數(shù)據(jù)存儲(chǔ)安全管理要求 ………………………………… 60
5.3.2 工廠人員行為管理 ……………………………………… 61
5.3.3 溯源體系建設(shè) …………………………………………… 61
5.3.4 質(zhì)量管理體系建設(shè) ……………………………………… 62
5.4 數(shù)據(jù)標(biāo)注項(xiàng)目評(píng)估………………………………………………63
5.5 數(shù)據(jù)標(biāo)注訂單管理………………………………………………64
5.6 數(shù)據(jù)標(biāo)注客戶(hù)關(guān)系管理…………………………………………65
5.7 作業(yè)與練習(xí)………………………………………………………66
參考文獻(xiàn)… ……………………………………………………………66
第6 章 數(shù)據(jù)標(biāo)注應(yīng)用…………………………………………68
6.1 自動(dòng)駕駛…………………………………………………………68
6.1.1 自動(dòng)駕駛的發(fā)展 ………………………………………… 68
6.1.2 自動(dòng)駕駛的9 種數(shù)據(jù)標(biāo)注 ……………………………… 70
6.2 智能安防…………………………………………………………75
6.2.1 智能安防的發(fā)展分析 …………………………………… 75
6.2.2 智能安防的5 種數(shù)據(jù)標(biāo)注 ……………………………… 77
6.3 智能醫(yī)療…………………………………………………………80
6.3.1 智能醫(yī)療的發(fā)展 ………………………………………… 80
6.3.2 智能醫(yī)療應(yīng)用的4 種數(shù)據(jù)標(biāo)注 ………………………… 80
6.4 作業(yè)與練習(xí)………………………………………………………82
參考文獻(xiàn)… ……………………………………………………………83
XII 數(shù)據(jù)標(biāo)注工程
第7 章 數(shù)據(jù)標(biāo)注實(shí)戰(zhàn)…………………………………………84
7.1 實(shí)戰(zhàn)環(huán)境搭建……………………………………………………84
7.1.1 標(biāo)注工具安裝環(huán)境搭建 ………………………………… 84
7.1.2 LabelImg 標(biāo)框標(biāo)注工具的使用方法 …………………… 92
7.1.3 Labelme 工具的安裝與使用方法 ……………………… 100
7.2 醫(yī)療影像標(biāo)注………………………………………………… 104
7.3 遙感影像標(biāo)注………………………………………………… 106
7.4 車(chē)牌圖像標(biāo)注………………………………………………… 109
7.4.1 車(chē)牌圖像標(biāo)框標(biāo)注 …………………………………… 109
7.4.2 車(chē)牌圖像分類(lèi)標(biāo)注 …………………………………… 110
7.5 人像數(shù)據(jù)標(biāo)注………………………………………………… 113
7.5.1 行人圖像標(biāo)注 ………………………………………… 113
7.5.2 人臉數(shù)據(jù)標(biāo)注 ………………………………………… 116
7.6 作業(yè)與練習(xí)…………………………………………………… 121
參考文獻(xiàn)… ………………………………………………………… 121
附錄 大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)(數(shù)據(jù)標(biāo)注版)… ………………… 122