描述
內容簡介
| NVIDIA RTX Spark 把 Grace CPU、Blackwell GPU 與最高 128GB 的統一記憶體放進一台 Windows 筆電。這台筆電在地端 AI 上能做到什麼，又有哪些限制，本書用實機一一驗證。
本書從開箱後的驅動與 CUDA 13.4 開始，帶你在原生 Windows ARM64 上執行 Ollama、llama.cpp、LM Studio 與 PyTorch，用 ComfyUI 生成圖片與影片，再進入 RAG、MCP、Hermes Agent、模型路由與 Coding Agent。後半部介紹 Windows ML 與 Foundry Local、用 llama.cpp RPC 串接多台機器，最後用 Unsloth、ai-toolkit 與 TRL 完成文字與影像的微調、DPO 與 GRPO 偏好對齊，並從零預訓練一個小型語言模型。 每一章都附上實際的截圖、量測的速度與記憶體，也寫下 Windows ARM64 上遇到的錯誤與繞過的方法。不論你已經有一台 RTX Spark，或者正在考慮購買，都可以用書裡的實測結果判斷 RTX Spark 適合哪些地端 AI 的工作。
【適合對象】 會使用 Windows 與 PowerShell、寫過一點 Python，想在自己的電腦上執行與訓練 AI 模型的開發者與進階使用者。
【本書特色】 ► RTX Spark 的晶片、統一記憶體與 GPU 記憶體配置 ► Windows on Arm 的驅動與 CUDA 13.4 ► uv、Python 開發環境、WSL2 的 GPU 與容器 ► Ollama、LM Studio 與 llama.cpp ► PyTorch 與 vLLM，GGUF 與 FP4 量化 ► ComfyUI 圖像與影片生成，語音辨識、合成與音樂生成 ► 視覺語言模型、RAG、工具呼叫與 MCP ► Hermes Agent 的安裝、技能、記憶、排程與訊息平台 ► Switchyard 模型路由與 Coding Agent ► Windows ML、Foundry Local 與 NPU ► Unsloth 與 ai-toolkit 的 LoRA 微調 ► TRL 的 SFT、DPO、GRPO，從零預訓練一個小型模型
【書附下載】 附錄A Windows 與工具指令速查 A-1 PowerShell 與 winget A-2 驅動與 CUDA A-3 推論工具 A-4 WSL2
附錄B 推薦模型與效能基準 B-1 128GB 推薦模型 B-2 64GB 推薦模型 B-3 兩台的實測速度
附錄C 疑難排解 C-1 驅動與 CUDA C-2 記憶體 C-3 Python 套件 C-4 推論工具
附錄D RTX Spark 機型規格與選購 D-1 NVIDIA 參考規格 D-2 各家機型 D-3 在台灣購買
附錄E Windows on Arm 軟體相容性列表 E-1 怎麼判斷一個軟體是幾等公民 E-2 相容性列表 E-3 實測：安裝之後看架構 |
作者簡介
| 胡嘉璽
研究領域為LLM、Vibe Coding、Context Engineering、量子電腦、容器。喜歡旅遊、重訓、天文、物理、美食、爵士樂及貓咪。 聯絡方式：github/joshhu |
目錄
| ▌第1 篇 硬體與系統建置
第0 章 地端模型與四種硬體選擇 0-1 什麼是地端模型 0-2 模型大小與記憶體 0-3 個人桌上的四種選擇 0-4 RTX Spark 與 DGX Spark 0-5 本書的路線 0-6 本章小結
第1 章 RTX Spark 的晶片與統一記憶體 1-1 晶片的組成 1-2 規格與機種 1-3 Windows 上的 GPU 記憶體 1-4 頻寬與速度 1-5 適合執行什麼模型 1-6 本章小結
第2 章 Windows 準備工作與 CUDA 13.4 安裝 2-1 Windows 11 on Arm 2-2 Windows 的準備工作 2-3 NVIDIA 驅動 2-4 CUDA Toolkit 13.4 2-5 電源與效能 2-6 已知問題 2-7 本章小結
第3 章 開發環境與 WSL2 3-1 終端機與套件管理 3-2 Python 與 uv 3-3 編譯工具 3-4 WSL2 與 GPU 3-5 容器 3-6 三種執行環境怎麼選 3-7 本章小結
第4 章 遠端存取與系統監控 4-1 遠端桌面與 SSH 4-2 跨網路存取 4-3 GPU 監控 4-4 系統監控 4-5 本章小結
▌第2 篇 地端模型推論入門 第5 章 Ollama 5-1 安裝 Ollama 5-2 下載與執行模型 5-3 API 5-4 調整設定 5-5 Modelfile 與匯入 5-6 已知問題 5-7 本章小結
第6 章 Open WebUI 6-1 安裝方式 6-2 連接模型 6-3 使用功能 6-4 多人使用 6-5 本章小結
第7 章 LM Studio 與桌面工具 7-1 Windows on Arm 的桌面工具 7-2 LM Studio 7-3 Jan 7-4 Foundry Local 7-5 本章小結
第8 章 llama.cpp 8-1 取得 llama.cpp 8-2 GGUF 與模型下載 8-3 命令列工具 8-4 重要參數 8-5 已知問題 8-6 本章小結
▌第3 篇 CUDA 推論進階 第9 章 PyTorch 與 vLLM 9-1 PyTorch on Windows Arm 9-2 Transformers 推論 9-3 缺 wheel 的套件 9-4 vLLM 走 WSL2 9-5 本章小結
第10 章 量化 10-1 量化的基本觀念 10-2 GGUF 量化等級 10-3 FP4 與 Blackwell 10-4 挑選量化 10-5 本章小結
第11 章 推論加速 11-1 注意力加速 11-2 投機解碼與 MTP 11-3 快取 11-4 TensorRT for RTX 11-5 本章小結
第12 章 方案比較 12-1 比較方法 12-2 推論工具比較 12-3 原生與 WSL2 12-4 使用情境 12-5 選擇建議 12-6 本章小結
▌第4 篇 多媒體AI 生成 第13 章 圖像與影片生成 13-1 安裝 ComfyUI 13-2 圖像生成 13-3 影片生成 13-4 統一記憶體的調整 13-5 本章小結
第14 章 語音、音訊與音樂 14-1 語音辨識 14-2 語音合成 14-3 即時語音對話 14-4 音樂生成 14-5 本章小結
▌第5 篇 多模態與 AI Agent 第15 章 視覺語言模型 15-1 VLM 入門 15-2 Ollama 與 llama.cpp 15-3 實際應用 15-4 大型 VLM 15-5 本章小結
第16 章 RAG 16-1 RAG 原理 16-2 建立索引 16-3 現成工具 16-4 自己寫一套 16-5 本章小結
第17 章 AI Agent 與 OpenShell 17-1 工具呼叫 17-2 Windows 的 Agent 基礎 17-3 OpenShell 17-4 Agent 框架 17-5 本章小結
第18 章 Hermes Agent 入門 18-1 Hermes Agent 是什麼 18-2 安裝桌面版 18-3 Local models 一鍵本機模型 18-4 接上自己的推論伺服器 18-5 第一個 Agent 任務 18-6 終端機的檢查與設定 18-7 自訂端點的排錯 18-8 已知問題 18-9 本章小結
第19 章 Hermes Agent 進階 19-1 技能 19-2 記憶 19-3 排程 19-4 MCP 與子 Agent 19-5 訊息平台 19-6 安全 19-7 本章小結
第20 章 模型路由 20-1 為什麼要模型路由 20-2 Switchyard 20-3 路由策略 20-4 decision model 20-5 在 RTX Spark 上架 decision model 20-6 Hermes Router 20-7 其他路由工具 20-8 本章小結
第21 章 編輯器與 Vibe Coding 21-1 終端機 Coding Agent 21-2 接上地端模型 21-3 VS Code 21-4 實戰 21-5 本章小結
▌第6 篇 Windows 生態與多機延伸 第22 章 Windows AI 堆疊 22-1 Windows ML 22-2 Foundry Local 22-3 Windows AI APIs 22-4 DirectML 現況 22-5 怎麼選 22-6 本章小結
第23 章 多機與混合部署 23-1 為什麼要多台 23-2 llama.cpp RPC 23-3 Wi-Fi 與有線網路 23-4 異質叢集 23-5 本章小結
▌第7 篇 模型微調與訓練 第24 章 Unsloth 微調 24-1 微調觀念 24-2 安裝 Unsloth 24-3 準備資料 24-4 訓練與評估 24-5 匯出 24-6 本章小結
第25 章 影像 LoRA 25-1 影像 LoRA 原理 25-2 訓練工具 25-3 訓練 25-4 使用 LoRA 25-5 本章小結
第26 章 PyTorch、PEFT 與 TRL 26-1 Hugging Face 微調堆疊 26-2 SFT 26-3 Windows 的限制 26-4 記憶體 26-5 本章小結
第27 章 DPO 與GRPO 27-1 偏好對齊 27-2 DPO 27-3 GRPO 27-4 評估 27-5 不用訓練的 abliteration 27-6 本章小結
第28 章 從零預訓練 28-1 預訓練的準備 28-2 訓練程式 28-3 訓練過程 28-4 結果 28-5 本章小結 |
序
| 1926 年1 月26 日，蘇格蘭科學家John Logie Baird 在倫敦的蘇活區向皇家院士展示了世界上第一台電視機。他說道：「從今以後，每個人家中都會有一台電視機。」1975 年，Bill Gates 說：「從今天以後，每個人家中都會有一台電腦。」2026 年6 月的GTC 大會上，NVIDIA 的CEO Jensen Huang 在Keynote 中說：「從今天以後，每個人家中都會有一台個人的Agent。」這三句話的共同點是，它們都是對未來的預言。John Logie Baird 的預言在1936 年成真，Bill Gates 的預言在1981 年成真，而Jensen Huang 的預言會成真嗎？至少，這是一個開始。
個人Agent 和電視機及個人電腦的發明，都延續了前一代產品的外觀。個人Agent 長得像電腦，PC 一開始長得像電視＋打字機，而電視一開始則是延續之前皮影戲箱子的外觀，但以後的Agent 會是什麼樣子，沒人知道。個人Agent的出現，會讓我們的生活更便利，也會改變我們的工作方式。它可以幫助我們完成各種任務，從簡單的日常工作到複雜的專業任務。它可以學習我們的喜好和習慣，並提供個性化的建議和服務。它可以與其他Agent 互動，形成一個智慧網絡，讓我們的生活更方便。 要能成為個人Agent 的硬體，並不簡單，要有聰明的大腦、靈巧的雙手、豐富的記憶體、全面的加速、發揮的舞台，以及可擴充的知識。具備這六點，個人Agent 才能真正地實現。而RTX Spark 就是這樣的六強組合。它擁有最聰明的大腦Blackwell、最靈活調度的Grace CPU、完整的UMA 128 GB 記憶體、業界相容性最好的CUDA 加速、全世界最多人用的作業系統Windows，以及NVIDIA 新加入的Hugging Face 模型知識庫的優勢。這六強組合在宇宙中是第二次出現，第一次則是薩諾斯集齊了六顆無限寶石啊！ 有了這樣一個完整的個人Agent 的產品以後，我們不再完全依賴雲端的LLM 服務，以後個人Agent 的LLM 部分一定是雲地混合。在需要複雜任務且和安全無關的部分，可以在雲端執行，但較簡單且資料不能外洩的部分，則可以在地端執行。RTX Spark 的出現，讓我們可以在地端執行大型的LLM 模型，這對於需要保護資料隱私的使用者來說，是一個非常重要的進步。 RTX Spark 和我前一本書介紹的DGX Spark 都使用Blackwell 架構的GPU與20 核的Arm CPU，記憶體的上限也都是128 GB，最大的不同是作業系統。DGX Spark 執行的是Linux，RTX Spark 執行的是Windows。這代表我們熟悉的桌面程式與辦公軟體都能照常使用，地端模型也可以直接放進日常的工作環境。大家擔心的Windows ARM64 的相容性問題，RTX Spark 已經解決了。RTXSpark 內建的Grace CPU 雖是Arm 架構，但經過微軟、輝達三年的打磨，Prism的相容性已經非常好，幾乎所有的Windows x64 程式都能在RTX Spark 上執行。RTX Spark 也支援CUDA，這代表我們可以在RTX Spark 上執行各種深度學習的程式，並且可以使用各種深度學習的框架，如TensorFlow、PyTorch、ONNX等等。 本書是實作出來的精華，每一章都在實機上操作過。從開箱後的驅動與CUDA，到Ollama、llama.cpp、ComfyUI 這些推論與生成的工具，再到Hermes Agent、模型路由與Coding Agent，最後是微調與從零預訓練。全書29 章，一共有超過一千張的截圖與示意圖，書裡的速度、記憶體與時間也都是在實測機上量出來的。遇到失敗的時候，我們把錯誤訊息與繞過的方法也一起寫進書裡，因為這些失敗正是Windows ARM64 現在的樣子，讀者自己動手時很可能也會遇到。 地端模型的意義，是讓資料留在自己的電腦裡，也讓我們不必為每一次的對話付費。本書在128 GB 的RTX Spark 就完成了讀圖、生圖、語音辨識、接上Coding Agent 與微調，這些工作以前大多要交給雲端的服務。RTX Spark 讓Windows 的使用者可以在自己的筆電上完整使用地端AI，而不必依賴雲端的服務。具備彈性及選擇權是極為重要的，RTX Spark 是個人Agent 的一個重要里程碑，本書也以ASUS ProArt 16 為實測機器，是目前市面上最完整的機型了。 AI 世界一日一變，你答應也得跟上，不答應也得跟上。Agent 的出現，打破了傳統各種階級的限制，不管你學歷、經歷、家世、背景、性別、年齡，能限制住你的，只有你自己的想像力。跟上AI 時代的腳步，超越自己，把自己放到無限大，AI 的世界裡，沒有什麼不可能！
胡嘉璽 於德國萊比錫 2026/10/25 |
