譯者序在當今這個信息爆炸的時代，海量數據的涌現為各行各業(yè)帶來了前所未有的機遇與挑戰(zhàn)。如何從紛繁復雜的數據中精準提取出有價值的信息，成為亟待解決的問題。而實體消解技術，正是應對這一問題的關鍵利器之一。無論是在商業(yè)智能領域助力企業(yè)精準洞察客戶需求、優(yōu)化供應鏈管理，還是在學術研究中整合多源異構數據以挖掘新知識，乃至協(xié)助政府部門進行公共事務管理、提升社會治理效能，實體消解技術都發(fā)揮著重要作用。顧名思義，實體消解就是將不同數據源中指代同一實體的多個記錄識別出來并將其合并為統(tǒng)一實體表示的過程。實體消解技術通過一系列復雜的算法和流程，實現數據的精準對接與融合，從而為后續(xù)的數據分析、知識發(fā)現、業(yè)務決策等環(huán)節(jié)奠定堅實的基礎。本書正是對這一重要技術的全面而深入的剖析。從基礎概念的闡釋，到實際操作的指導，再到前沿技術的探討，本書涵蓋了實體消解的方方面面。書中對每個步驟都進行了細致的講解，不僅提供了豐富的理論知識，還結合實際案例，展示了如何在具體場景下應用這些技術和方法。本書既有高屋建瓴的理論闡述，又有細致入微的代碼示例與案例剖析，相信無論讀者是初涉該領域、渴望構建扎實的知識根基的新手，還是經驗頗豐、尋求創(chuàng)新思路與技術進階的專業(yè)人士，都能從這本書中覓得所需。衷心期望本書的問世，能夠為讀者的事業(yè)與研究注入新的活力，助力更多讀者跨越知識鴻溝，在實體消解乃至更廣闊的數據處理天地中自由馳騁，開啟數字化智慧之旅。讀者在閱讀過程中，如果發(fā)現問題或錯誤，歡迎與我聯系，我的電子郵箱是seancheney@qq.com。林潤前言人們都希望做出更好的決策。無論是為了更好地服務客戶，還是為了保障客戶的安全，人們都希望做出正確的判斷并開展正確的工作。為了能夠自信地行動，人們需要了解服務對象及其信息。雖然人們時常有大量數據可以使用，但這些 數據往往是孤立的，難以完整描述個體全貌。實體消解是連接數據、串聯數據并揭示全貌的技術。本書是一本實操指南，旨在幫助讀者了解實體消解廣闊的知識背景，掌握實體消解技術并靈活運用它。 數據匹配看起來很容易，但通過本書，讀者將了解到數據匹配并非總是一帆風 順的。不過不用擔心，閱讀完全書，讀者就能夠克服這些挑戰(zhàn)，讓數據集煥發(fā)生機。本書讀者本書適合金融服務、制藥業(yè)或其他大型企業(yè)的產品經理、數據分析師或數據科學家閱讀。如果你正面臨數據孤島難題、不同數據庫中的客戶信息存在分歧， 或者你要合并來自不同組織或附屬公司的信息，本書也適合你。負責防范金融犯罪、管理聲譽及供應鏈風險的風險管理專家，也能從本書對數據匹配挑戰(zhàn)及其解決策略的深入討論中受益。為什么撰寫本書實體消解的挑戰(zhàn)無處不在。雖然我們可能不常用這個術語，但實體消解過程每天都在重復發(fā)生。在完成本書的幾周前，妻子讓我?guī)椭�她核對銀行對賬單上的 付款人名單，以確認名單上的人是否都付款了。這正是實體消解的實際應用！創(chuàng)作本書的想法，源于我想要闡釋為什么核對名單上的匹配項并不像聽起來那么簡單，還想展示一些現在可用于高效處理實體消解問題的優(yōu)秀工具和技術。通過介紹一些真實案例，我希望讀者能夠自信地對數據集進行匹配，從而更好 地服務并保護客戶。非常歡迎讀者向我分享讀書的心得體會，或是對本書的任何反饋。如果對本書附帶的代碼有任何疑問，歡迎在 GitHub（https://github. com/mshearer0/HandsOnEntityResolution ）上提出。若想討論實體消解問題，請通過 LinkedIn（https://www.linkedin.com/in/mshearer0）聯系我。實體消解既是一門技藝，也是一門科學。不存在適用于所有數據集的通用解決方案，因此開發(fā)者需要根據自身需求調整算法，以達成期望結果。希望本書讀 者能夠相互幫助，找到最佳解決方案，通過分享彼此的經驗，讓眾人受益。本書導覽本書旨在提供實體消解的實操指南，因此鼓勵讀者在逐章學習時動手運行代碼。本書的核心原則是通過使用真實的開源數據，展示實體消解中的挑戰(zhàn)與解決方案。但是，使用開源數據可能會面臨一些挑戰(zhàn)，因為開源數據集在發(fā)布后可能 會有更新，導致讀者的運算結果略有不同。請查看 GitHub頁面（https://github.com/mshearer0/HandsOnEntityResolution），以獲取及時更新，并訪問最新代碼。本書各章內容如下：?　　第 1 章簡要介紹實體消解，解釋為什么需要進行實體消解，及實體消解包含的主要步驟。?　　第 2 章闡述在嘗試匹配記錄之前，數據標準化的重要性。?　　第 3 章至第 6 章展示如何使用模糊匹配和概率匹配方法，比較數據記錄以消解實體。?　　第 7 章介紹對于描述同一實體的記錄，將其聚類到唯一可識別簇的過程。?　　第 8 章和第 9 章展示如何使用云計算服務大規(guī)模實施實體消解。?　　第 10 章介紹如何利用記錄關聯技術保護數據所有者隱私。?　　第 11 章介紹對實體消解算法設計的進一步思考，并展望實體消解技術的未來發(fā)展。建議讀者連續(xù)閱讀第 2 章至第 9 章，因為這些章節(jié)會使用相同的數據集逐步構 建出實體消解解決方案。本書假定讀者具備 Python 基礎知識。如有學習需要，可訪問互動教程網站 http://learnpython.org。此外，強烈推薦 Wes McKinney 所著的 Python for Data Analysis一書。對于更有經驗的讀者，建議學習 pandas、Spark 和 Google Cloud Platform，肯定能有所收獲。