描述
內容簡介
|
作者簡介
| 梁志遠 博士
畢業於北京航空航天大學。長期從事人工智慧、大語言模型的開發，專注於深度學習、自然語言處理、數據分析與智慧決策等領域。主持或參與多項科學研究計畫，涵蓋模型訓練最佳化、知識蒸餾、自動推理與多模態學習等方向。致力於推動人工智慧技術在工業應用、智慧互動與數據驅動的實踐與發展。
韓曉晨 博士 長期從事高效能運算與大模型訓練算力最佳化研究。近十年來，專注於智慧運算架構最佳化及大規模資料處理，深耕於控制演算法、機器視覺等領域。近年來，重點研究大模型訓練加速、算力調度與異質運算最佳化，致力於提升大模型運算效率與資源利用率，推動大規模人工智慧模型的部署與應用。 |
目錄
| ▌第一部分 理論基礎與技術框架
►第1 章 大語言模型推薦系統的技術框架 1.1 基本技術詳解 1.1.1 Transformer 架構基礎 1.1.2 注意力機制 1.1.3 大規模向量檢索技術 1.1.4 Prompt 工程與上下文學習技術 1.1.5 計算性能最佳化與並行訓練技術 1.2 大語言模型推薦系統的核心模組 1.2.1 嵌入生成與人物誌建模 1.2.2 嵌入生成模組 1.2.3 召回模組 1.2.4 排序模組 1.2.5 即時推薦與上下文處理模組 1.3 推薦系統的關鍵挑戰與解決技術 1.3.1 資料稀疏性問題 1.3.2 高併發環境詳解 1.4 本章小結 1.5 思考題
►第2 章 資料處理與特徵工程 2.1 資料清洗與標準化 2.1.1 異質資料格式標準化處理 2.1.2 資料雜訊過濾與異常檢測 2.2 人物誌與物品畫像的建構 2.2.1 使用者興趣特徵生成 2.2.2 基於嵌入向量的物品特徵提取 2.3 特徵互動與場景特徵生成 2.3.1 特徵交叉組合實現 2.3.2 領域知識的上下文特徵增強 2.4 本章小結 2.5 思考題
▌第二部分 核心技術解析
►第3 章 嵌入技術在推薦系統中的應用 3.1 使用者行為嵌入生成技術 3.1.1 基於大語言模型的使用者行為編碼 3.1.2 時間序列特徵的嵌入最佳化 3.2 多模態資料嵌入技術 3.2.1 文字、影像與影片嵌入的融合方法 3.2.2 基於CLIP 模型的多模態特徵聯合嵌入 3.3 嵌入向量的儲存與檢索最佳化 3.3.1 使用Faiss 進行高效向量檢索 3.3.2 向量檢索最佳化 3.3.3 文字嵌入向量生成 3.4 自監督嵌入學習方法 3.4.1 自監督學習基本原理 3.4.2 基於對比學習的嵌入生成 3.5 本章小結 3.6 思考題
►第4 章 生成式推薦：從特徵到內容 4.1 大語言模型生成特徵的技術方法 4.1.1 GPT 生成使用者興趣特徵與物品特徵 4.1.2 T5 模型與文字生成 4.2 大語言模型生成推薦內容 4.2.1 個性化商品描述與廣告文案生成 4.2.2 基於使用者歷史行為生成推薦 4.3 生成式推薦系統的最佳化與評估 4.3.1 推薦生成結果過濾 4.3.2 評估：生成內容與使用者點擊率 4.4 生成約束與RLHF 4.4.1 生成約束在推薦任務中的實現 4.4.2 基於RLHF 的生成品質最佳化技術 4.5 本章小結 4.6 思考題
►第5 章 預訓練語言模型在推薦系統中的應用 5.1 預訓練語言模型的架構設計 5.1.1 使用PLM 進行使用者與物品的聯合建模 5.1.2 Transformer 架構對推薦效果的提升 5.2 預訓練語言模型在冷啟動推薦中的應用 5.2.1 使用者冷啟動與物品冷啟動的特徵生成 5.2.2 基於上下文學習的冷啟動推薦 5.2.3 利用生成模型建立冷啟動資料 5.3 程式實戰：基於MIND 資料集建構預訓練推薦系統 5.3.1 資料集載入與前置處理 5.3.2 使用者與物品特徵的嵌入生成 5.3.3 預訓練模型的建構與最佳化 5.3.4 推薦結果的推理與評估 5.3.5 模型改進與迭代開發 5.4 本章小結 5.5 思考題
▌第三部分 模型最佳化與進階技術
►第6 章 微調技術與個性化推薦 6.1 微調推薦模型的關鍵技術 6.1.1 PEFT 6.1.2 RLHF 6.2 個性化推薦系統的實現 6.2.1 針對長尾使用者的微調策略 6.2.2 微調後推薦系統的效果提升 6.3 案例分析：TALLRec 框架在個性化推薦中的應用 6.3.1 微調模型的訓練與部署 6.3.2 基於使用者行為的個性化推薦實現 6.3.3 TALLRec 的多工學習在推薦中的應用 6.4 參數高效微調（LoRA）的實現與應用 6.4.1 LoRA 技術的具體實現與程式分析 6.4.2 LoRA 最佳化推薦系統的實際案例 6.5 本章小結 6.6 思考題
►第7 章 上下文學習與直接推薦技術 7.1 大語言模型上下文學習的技術實現 7.1.1 提示詞工程 7.1.2 動態上下文學習與即時推薦 7.2 Prompt 最佳化與自我調整推薦系統 7.2.1 連續Prompt 生成 7.2.2 使用者意圖檢測與自我調整推薦演算法 7.3 基於Few-shot 和Zero-shot 的推薦任務 7.3.1 Few-shot 推薦任務的案例與技術解析 7.3.2 Zero-shot 推薦任務案例分析 7.4 本章小結 7.5 思考題
►第8 章 多工學習與互動式推薦系統 8.1 多工學習模型的架構設計 8.1.1 多工學習模型在推薦中的應用 8.1.2 多工最佳化 8.2 互動式推薦系統的代理架構 8.2.1 互動式推薦中的Agent 系統簡單實現 8.2.2 使用者即時回饋對推薦模型的動態更新 8.3 實戰案例：基於LangChain 實現對話式推薦 8.3.1 使用者對話驅動的推薦生成 8.3.2 多輪對話中的上下文管理問題 8.3.3 對話與推薦融合 8.3.4 雲端部署LangChain 系統 8.4 本章小結 8.5 思考題
▌第四部分 實戰與部署
►第9 章 排序演算法與推薦結果最佳化 9.1 排序演算法的核心技術 9.1.1 Transformer 生成排序特徵的方法 9.1.2 CTR 預測模型 9.2 排序最佳化的程式實現 9.2.1 Wide&Deep 模型排序案例 9.2.2 使用GBDT 進行特徵排序與評分 9.3 基於Learning-to-Rank 的排序最佳化 9.3.1 Pointwise、Pairwise 和Listwise 方法解析 9.3.2 使用Learning-to-Rank 最佳化推薦系統排序的案例 9.4 本章小結 9.5 思考題
►第10 章 冷啟動問題與長尾問題詳解 10.1 冷啟動問題的技術解決方案 10.1.1 利用大語言模型生成初始使用者行為樣本 10.1.2 新品與冷門內容的長尾推薦 10.2 長尾使用者的動態興趣建模 10.2.1 興趣遷移 10.2.2 基於行為序列的動態特徵生成 10.3 冷啟動推薦的案例分析 10.3.1 冷啟動推薦系統的程式實現 10.3.2 基於大語言模型的物品冷啟動解決方案 10.3.3 長尾內容的推薦最佳化 10.3.4 案例實戰：公眾號冷啟動推薦 10.4 本章小結 10.5 思考題
►第11 章 推薦系統開發基礎 11.1 推薦系統的分散式架構設計 11.1.1 微服務框架下的推薦模組部署 11.1.2 ONNX 模型轉換與TensorRT 推理加速 11.1.3 分散式向量檢索服務的負載平衡 11.1.4 高可用推薦服務容錯與恢復機制 11.2 推薦服務的高併發最佳化 11.2.1 即時推薦服務的快取機制設計 11.2.2 非同步處理與批次推理的性能提升 11.2.3 動態負載平衡在推薦服務中的應用 11.2.4 使用分散式訊息佇列最佳化高併發推薦串流 11.3 推薦系統的日誌與監控模組 11.3.1 即時監控系統性能與使用者行為資料 11.3.2 日誌擷取與分散式儲存架構 11.3.3 異常檢測與告警系統 11.3.4 推薦效果評估回饋 11.4 本章小結 11.5 思考題
►第12 章 基於大模型的電子商務平臺推薦系統開發 12.1 專案規劃與系統設計 12.1.1 基於大語言模型的推薦系統整體架構設計 12.1.2 需求分析與功能模組劃分 12.2 資料管理模組 12.2.1 資料獲取、清洗與規範化 12.2.2 使用者與物品特徵生成 12.3 嵌入生成與召回模組開發 12.3.1 基於大模型的嵌入生成 12.3.2 向量檢索與召回 12.4 排序與最佳化模組 12.4.1 CTR 生成式排序模型 12.4.2 使用LTR 最佳化推薦效果 12.5 系統部署與即時服務 12.5.1 模型轉換與ONNX 最佳化 12.5.2 分散式推理服務與API 介面開發 12.5.3 模型微調與部署 12.6 性能監控與日誌分析 12.7 本章小結 12.8 思考題 |
序
|
