描述
內容簡介
| l 自然語言處理大本營Huggingface介面安裝及說明
l Huggingface模型、資料集，空間介紹 l AutoModel、AutoTokenizer介紹 l Attention架構完整實作介紹 l PyTorch建立Transformer完整說明 l TensorFlow建立Transformer完整說明 l 用Huggingface手動架設一個BERT
HuggingFace提供了一套強大的自然語言處理工具和標準研發流程。
第1章介紹了這一流程和工具的概述。 第2章深入介紹了編碼工具，展示了其工作原理和應用案例。 第3章詳細介紹了資料集工具，包括資料集倉庫和基本操作。 第4章評價指標的載入和使用方法。 第5章引入管道工具，說明高效地處理自然語言處理任務。 第6章示範訓練工具的使用，展示模型訓練的流程。 從第7章到第10章，透過一系列中文自然語言處理實戰任務，包括情感分類、填空任務、句子關係推斷和命名實體識別，展示了工具集的實際應用能力。 第11章探索了使用TensorFlow框架完成命名實體識別任務的方式。 第12章深入研究了自動模型的使用，包括情感分類任務和原始程式碼的閱讀，以更好地理解模型內部工作原理。 第13章和第14章則手動實現了Transformer模型和BERT模型，強調了底層模型理解和自訂模型的重要性。 |
作者簡介
| 李福林
一個在IT領域摸爬滾打十多年的老工程師、培訓師，精通多種IT技術，具有軟體設計師職稱。分享了多部AI技術教程，受到了讀者的廣泛讚譽。現任職於陽獅集團，擔任演算法工程師職位。教學風格追求化繁為簡，務實而不空談，課程設計思路清晰，課程演繹說理透徹，對AI領域技術有自己獨到的見解。 |
目錄
| 工具集基礎用例演示篇
第1章 HuggingFace簡介 第2章 使用編碼工具 2.1 編碼工具簡介 2.2 編碼工具工作流示意 2.3 使用編碼工具 2.4 小結 第3章 使用資料集工具 3.1 資料集工具介紹 3.2 使用資料集工具 3.3 小結 第4章 使用評價指標工具 4.1 評價指標工具介紹 4.2 使用評價指標工具 4.3 小結 第5章 使用管道工具 5.1 管道工具介紹 5.2 使用管道工具 5.3 小結 第6章 使用訓練工具 6.1 訓練工具介紹 6.2 使用訓練工具 6.3 小結
中文專案實戰篇 第7章 實戰任務1：中文情感分類 7.1 任務簡介 7.2 資料集介紹 7.3 模型架構 7.4 實現程式 7.5 小結 第8章 實戰任務2：中文填空 8.1 任務簡介 8.2 資料集介紹 8.3 模型架構 8.4 實現程式 8.5 小結 第9章 實戰任務3：中文句子關係推斷 9.1 任務簡介 9.2 資料集介紹 9.3 模型架構 9.4 實現程式 9.5 小結 第10章 實戰任務4：中文命名實體辨識 10.1 任務簡介 10.2 資料集介紹 10.3 模型架構 10.4 實現程式 10.5 小結 第11章 使用TensorFlow訓練 11.1 任務簡介 11.2 資料集介紹 11.3 模型架構 11.4 實現程式 11.5 小結 第12章 使用自動模型 12.1 任務簡介 12.2 資料集介紹 12.3 模型架構 12.4 實現程式 12.5 深入自動模型原始程式碼 12.6 小結 |
序
| 前 言
自然語言處理一直作為人工智慧領域內的重要難題，歷史上無數的科學家付出了巨大的心血對其進行研究。著名的圖靈測試本質上也是一個自然語言處理任務。 在深度學習成為主流後，自然語言處理確立了主要的研究方向，尤其是在Google提出了Transformer和BERT模型以後，基於預訓練模型的方法，已成為自然語言處理研究的主要方向。 隨著自然語言處理研究的大跨步前進，問題也隨之而來，首要的就是資料集格式缺乏統一規範，往往更換一個資料來源，就要做複雜的資料調配工作，從專案角度來講，這增加了專案的實施風險，作為專案人員有時會想，要是能有一個資料中心，它能把資料都管理起來，提供統一的資料介面就好了。 與資料集相應，預訓練模型也缺乏統一的規範，它們往往由不同的實驗室提供，每個實驗室提供的下載方法都不同，下載之後的使用方法也各有區別，如果能把這些模型的下載方式和使用方式統一，就能極大地方便研究，也能降低專案實施的風險。 基於以上訴求，HuggingFace社區提供了兩套工具集datasets和transformers，分別用於資料集管理和模型管理。基於HuggingFace工具集研發能極大地簡化程式，把研發人員從細節的海洋中拯救出來，把更多的精力集中在業務本身上。 此外，由於資料集和模型都統一了介面，所以在更換時也非常方便，避免了專案和具體的資料集、模型的強耦合，從而降低了專案實施的風險。 綜上所述，HuggingFace值得所有自然語言處理研發人員學習。本書將使用最簡單淺顯的語言，快速地講解HuggingFace工具集的使用方法，並透過幾個實例來演示使用HuggingFace工具集研發自然語言處理專案的過程。 透過本書的學習，讀者能夠快速地掌握HuggingFace工具集的使用方法，並且能夠使用HuggingFace研發自己的自然語言處理專案。 |
