描述
內容簡介
| 【書籍簡介】
．從文字、影像、音訊、視訊四種單一模態出發，建立多模態資料分析的完整認知地圖。 ．釐清多模態資料的定義與分析意義，並點出異質對齊、時序同步、品質落差三大挑戰。 ．單一模態處理全覆蓋：文字分類與主題建模、影像物件辨識、音訊事件檢測、行為辨識。 ．四種融合層次一次講透：特徵級、決策級、模型級與混合級融合各自的適用場景與取捨。 ．三種創新融合法：深度學習自我調整融合、跨模態語義對齊、基於圖的影像關係推理。 ．統計學打底：描述統計、假設檢驗、相關性與回歸分析，以二手車估價案例貫穿實作。 ．八種經典機器學習演算法速覽，落地為車牌辨識與機器翻譯兩個可執行的完整案例。 ．深度學習雙路徑：CNN 做顏值評分、LSTM 作詩，示範影像與序列資料的不同處理方式。 ．知識圖譜從技術系統、建構方法到推理分析，用圖神經網路實作電影推薦。 ．知識圖譜的企業級應用：使用者傳播路徑、搜尋行為分析與關係網路健康度評估。 ．大模型專章：業務架構、技術架構與技術路線選擇，附 GPT 與 DeepSeek 多模態能力對比。 ．四個產業實戰案例：肺部病變辨識、疾病早期篩查、直播高光時刻、短影音創作靈感。 |
作者簡介
| 巴川
資深數據科學家，曾就職於中國搜尋、搜狐暢遊、競技世界等互聯網公司。主要研究領域包括數據挖掘、人工智能、知識圖譜、精細化運營、風控體系等。CCF TF數據科學SIG主席，CAAI機器博弈專委會常委，曾任北京航空航天大學兼職碩導，西安交通大學研究生院授課專家，多所高校兼職授課教師、多個智庫技術專家。TOP100、QCon、DataFun、DTCC、SACC、WOT、A2M、CDAS、TID、GIEC、CCF青年菁英大會、中國軟件技術大會、中國計算機教育大會等行業峰會演講嘉賓及出品人。另任中國國際大學生創新大賽、CCF青年精英科技創業秀等多個創新創業大賽專家評委，多所高校創新創業導師，助力科研成果轉化落地。
李慧 資深數據分析挖掘工程師，碩士畢業於北京航空航天大學，曾就職於百度，任SACC、TOP100、DataFun、WOT等前沿技術大會演講嘉賓，專注多模態數據分析領域研究，在用戶增長、因果推斷、數據預測等方向累積了豐富實踐經驗，秉持數據賦能理念，擅長驅動數據價值落地與場景化應用。
鍾宇周 碩士畢業於北京大學光華管理學院，曾就職於競技世界、阿里巴巴，目前為快手主站數據分析師，負責C端流量核心業務，擅長統計回歸分析、機器學習模型預測與推斷、自然語言處理技術，致力於探索技術與業務結合的多模態數據分析方法。
葉心函 資深數據分析挖掘工程師，碩士畢業於中國科學院大學，在AI、風控和知識圖譜等領域有豐富的多模態數據分析經驗，並且見解獨特，擅長運用前沿算法和模型解決複雜數據問題，助力企業實現精準決策和高效增長。 |
目錄
| 第1章 多模態資料分析概述
1.1 什麼是多模態資料 1.2 多模態資料分析的意義 1.3 多模態資料分析的挑戰 1.4 小結
第2章 單一模態資料處理與分析 2.1 文字資料處理與分析 2.1.1 文字資料處理 2.1.2 文字分類與主題建模 2.2 影像資料處理與分析 2.2.1 影像資料處理 2.2.2 影像物件辨識 2.3 音訊資料處理與分析 2.3.1 音訊資料前置處理 2.3.2 音訊分類與事件檢測 2.4 影片資料處理與分析 2.4.1 影片資料前置處理 2.4.2 行為辨識與動作分析 2.5 小結
第3章 多模態資料融合 3.1 多模態資料融合的研究意義 3.2 多模態資料融合的常規方法 3.2.1 特徵級融合 3.2.2 決策級融合 3.2.3 模型級融合 3.2.4 混合級融合 3.3 多模態資料融合的創新方法 3.3.1 基於深度學習的多模態特徵自適應融合 3.3.2 基於跨模態語義對齊的一致性增強融合 3.3.3 基於圖的多模態影像關係推理融合 3.4 小結
第4章 統計學與資料分析 4.1 統計學概述 4.2 基礎知識 4.2.1 描述統計 4.2.2 假設檢定 4.3 相關性分析 4.4 回歸分析 4.4.1 回歸分析介紹 4.4.2 案例：二手車怎麼買 4.5 演算法案例：基於相關性統計的短語詞雲 4.5.1 文字資料處理 4.5.2 短語詞雲演算法原理與展示 4.6 小結
第5章 基於機器學習的多模態資料分析 5.1 經典機器學習演算法介紹 5.1.1 線性回歸 5.1.2 邏輯回歸 5.1.3 支援向量機 5.1.4 決策樹 5.1.5 隨機森林 5.1.6 XGBoost 5.1.7 單純貝氏 5.1.8 神經網路 5.2 案例：基於支援向量機的車牌辨識 5.3 案例：基於神經網路的機器翻譯 5.4 小結
第6章 基於深度學習的多模態資料分析 6.1 深度學習介紹 6.2 卷積神經網路及其資料分析案例 6.2.1 卷積神經網路介紹 6.2.2 案例：顏值評分 6.3 序列資料應用— LSTM 6.3.1 循環神經網路和LSTM 介紹 6.3.2 案例：用模型作詩 6.4 深度學習擴充知識與應用 6.5 小結
第7章 基於知識圖譜的多模態資料分析 7.1 知識圖譜技術系統及其建構方法 7.1.1 知識圖譜技術系統 7.1.2 案例：建構知識圖譜 7.2 知識圖譜與多模態資料融合 7.2.1 融合的優勢及應用方向 7.2.2 案例：建構基於多模態知識圖譜的多標籤預測模型 7.3 知識圖譜推理與分析 7.3.1 推理與分析方法介紹 7.3.2 案例：基於圖神經網路的知識圖譜給使用者推薦電影 7.4 知識圖譜資料分析的企業級拓展應用 7.4.1 使用者傳播路徑 7.4.2 使用者搜尋觀星台 7.4.3 使用者關係網路及健康度評估 7.5 小結
第8章 基於大模型的多模態資料分析 8.1 大模型概述 8.1.1 大模型的定義與特點 8.1.2 大模型的基本原理 8.1.3 大模型在多模態資料分析中的重要作用 8.2 大模型應用架構 8.2.1 業務架構 8.2.2 技術架構 8.2.3 技術路線選擇 8.3 大模型在多模態資料分析中的應用 8.3.1 大模型協助多模態資料處理 8.3.2 大模型協助多模態資料融合 8.3.3 大模型協助多模態資料分析 8.4 GPT 與 DeepSeek：多模態資料分析領域的交鋒 8.4.1 GPT：多模態先驅，當下實力究竟幾何 8.4.2 DeepSeek：新晉黑馬，突破重圍有何獨特優勢 8.4.3巔峰對壘：GPT 與 DeepSeek 多模態資料分析比拼 8.5 小結
第9章 實戰案例：挖掘肺部病變，賦能精準醫療 9.1 多模態資料分析在醫療領域的發展和應用現狀 9.2 肺部病變辨識的背景介紹 9.3 肺部病變辨識的實踐過程 9.3.1 CT 影像資料前置處理 9.3.2 使用TensorFlow 架設 CNN 模型 9.3.3 使用模型辨識疑似病灶影像 9.4 小結
第10章 實戰案例：剖析疾病資料，助力早期篩檢 10.1 疾病早篩資料前置處理 10.2 建立重大疾病預測模型 10.3 疾病早篩實際業務過程和價值預估 10.4 小結
第11章 實戰案例：聚焦直播高光時刻，推動話題製造 11.1 直播資料特點 11.2 直播資料回饋 11.3 視覺內容辨識 11.4 彈幕評論解析 11.5 音訊情感分析 11.6 協作確定直播高光時刻 11.7 小結
第12章 實戰案例：解析優質影片，汲取創作靈感 12.1 短影音資料特點 12.2 使用多模態大模型做影片分析的優勢和侷限性 12.3 從影片內容前置處理到靈感孵化 12.4 資料驅動的靈感閉環 12.5 小結 |
序
| 前言
近十幾年來，資料技術可能是這個世界上發展最快的領域。從小樣本資料分析到巨量資料分析，從資料科學到機器學習，從人工智慧到如今爆火的大模型，從單一模態資料分析到多模態資料分析，資料技術領域的從業者經歷著興奮刺激的高速發展，同時被技術變化裹挾著不斷前進。
作者十幾年來與資料同行一起在紛繁的業務中翻滾，在資料的汪洋中浸泡，在複雜的職場中浮沉，深感時代洪流滔滔向前，唯一不變的只有變化，而我們面對變化、擁抱變化的方法只有不斷學習，這樣才能不被時代拋棄。
本書是作者十幾年來與資料打交道的經驗總結，裡面既有概念、方法介紹，又有案例、程式實作，希望能給讀者提供多模態資料分析的方法與實作經驗，幫助讀者在AI 時代的浪潮中踏浪而行，有機會翻出屬於自己的那朵小浪花。
本書結構 本書主體內容共12章： 第1章為多模態資料分析概述。
第2、3章為文字、影像、音訊、影片等從單一模態資料到多模態資料的處理和簡單分析。對重點方法提供了程式範例，供各位讀者操作練習。
第4、5、6、7、8章為多模態資料分析的具體方法介紹，包括統計學與資料分析、機器學習、深度學習、知識圖譜和大模型等多種演算法模型。每章都有方法概念、模型原理和案例程式。這部分對各種演算法的數學原理點到為止、不做深究，重點強調各種方法的應用和案例實操。各位讀者最好的學習方法是把書中的案例程式動手操作一遍，再換成自己的資料來操作調校，加深對各種演算法模型的理解，同時提高應用能力。對演算法的數學原理特別感興趣的讀者可以從網路或其他書籍中查閱相關資料，也歡迎聯絡作者深入交流和切磋。
第9、10、11、12章為多模態資料分析的綜合應用案例，涵蓋醫療領域和影片直播領域，既可以當作4個小案例來看，也可以當作兩個大的綜合案例來看。對於這些作者和團隊成員親歷的專案，同樣提供了案例程式，供讀者操作實作，加強讀者的綜合應用能力和業務實戰能力。
本書適用對象 本書可作為資料分析師、資料科學家、資料工程師、演算法工程師等資料技術相關從業者的學習用書，也可作為高等院校數學、統計學、電腦等相關專業的師生用書和培訓學校的教材。當然，對多模態資料分析領域有強烈興趣的非專業人士或管理人士，也可拋棄程式實操部分，只讀理論部分，觀其大略即可。
讀者回饋 資料技術發展日新月異，作者也在不斷學習中，由於作者水準有限，書中難免存在紕漏和不足之處，敬請各位讀者批評指正。如果您對本書有任何疑問或建議，請發送郵件到聯絡信箱bachuan@163.com。
致謝 感謝本書的合著作者李慧、葉心函、鐘宇周，他們貢獻了許多專業、精彩的內容。感謝羅鑫波、袁士金明為本書做了大量審校工作並提出了許多專業建議。感謝本書的策劃編輯董英和內容編輯付睿給予了我很大的耐心和鼓勵，陪我們一起度過了漫長的寫作、修改、出版過程。感謝出版社的各位老師為本書的順利出版所做的工作。感謝為本書寫推薦語的各位行業大咖、前輩菁英為我們提供的幫助和鼓勵。 由於出版限制，還有許多內容未能在書中呈現，遺憾在所難免，在此感謝為此付出的同事朋友，也感謝對我們包容和提出寶貴意見的讀者朋友⋯⋯需要感謝的人還有很多，限於篇幅，在這裡就不一一列舉了。 巴川 |
