NVIDIA RTX Spark 地端 AI 全面玩透：Windows 筆電跑 Agents、生圖、微調一次搞定 DM2681

本書從開箱後的驅動與 CUDA 13.4 開始，帶你在原生 Windows ARM64 上執行 Ollama、llama.cpp、LM Studio 與 PyTorch，用 ComfyUI 生成圖片與影片，再進入 RAG、MCP、Hermes Agent、模型路由與 Coding Agent。後半部介紹 Windows ML 與 Foundry Local、用 llama.cpp RPC 串接多台機器，最後用 Unsloth、ai-toolkit 與 TRL 完成文字與影像的微調、DPO 與 GRPO 偏好對齊，並從零預訓練一個小型語言模型。

每一章都附上實際的截圖、量測的速度與記憶體，也寫下 Windows ARM64 上遇到的錯誤與繞過的方法。不論你已經有一台 RTX Spark，或者正在考慮購買，都可以用書裡的實測結果判斷 RTX Spark 適合哪些地端 AI 的工作。

【適合對象】

會使用 Windows 與 PowerShell、寫過一點 Python，想在自己的電腦上執行與訓練 AI 模型的開發者與進階使用者。

【本書特色】

► RTX Spark 的晶片、統一記憶體與 GPU 記憶體配置

► Windows on Arm 的驅動與 CUDA 13.4

► uv、Python 開發環境、WSL2 的 GPU 與容器

► Ollama、LM Studio 與 llama.cpp

► PyTorch 與 vLLM，GGUF 與 FP4 量化

► ComfyUI 圖像與影片生成，語音辨識、合成與音樂生成

► 視覺語言模型、RAG、工具呼叫與 MCP

► Hermes Agent 的安裝、技能、記憶、排程與訊息平台

► Switchyard 模型路由與 Coding Agent

► Windows ML、Foundry Local 與 NPU

► Unsloth 與 ai-toolkit 的 LoRA 微調

► TRL 的 SFT、DPO、GRPO，從零預訓練一個小型模型

【書附下載】

附錄A Windows 與工具指令速查

A-1 PowerShell 與 winget

A-2 驅動與 CUDA

A-3 推論工具

A-4 WSL2

附錄B 推薦模型與效能基準

B-1 128GB 推薦模型

B-2 64GB 推薦模型

B-3 兩台的實測速度

附錄C 疑難排解

C-1 驅動與 CUDA

C-2 記憶體

C-3 Python 套件

C-4 推論工具

附錄D RTX Spark 機型規格與選購

D-1 NVIDIA 參考規格

D-2 各家機型

D-3 在台灣購買

附錄E Windows on Arm 軟體相容性列表

E-1 怎麼判斷一個軟體是幾等公民

E-2 相容性列表

E-3 實測：安裝之後看架構

研究領域為LLM、Vibe Coding、Context Engineering、量子電腦、容器。喜歡旅遊、重訓、天文、物理、美食、爵士樂及貓咪。

聯絡方式：github/joshhu

第0 章 地端模型與四種硬體選擇

0-1 什麼是地端模型

0-2 模型大小與記憶體

0-3 個人桌上的四種選擇

0-4 RTX Spark 與 DGX Spark

0-5 本書的路線

0-6 本章小結

第1 章 RTX Spark 的晶片與統一記憶體

1-1 晶片的組成

1-2 規格與機種

1-3 Windows 上的 GPU 記憶體

1-4 頻寬與速度

1-5 適合執行什麼模型

1-6 本章小結

第2 章 Windows 準備工作與 CUDA 13.4 安裝

2-1 Windows 11 on Arm

2-2 Windows 的準備工作

2-3 NVIDIA 驅動

2-4 CUDA Toolkit 13.4

2-5 電源與效能

2-6 已知問題

2-7 本章小結

第3 章 開發環境與 WSL2

3-1 終端機與套件管理

3-2 Python 與 uv

3-3 編譯工具

3-4 WSL2 與 GPU

3-5 容器

3-6 三種執行環境怎麼選

3-7 本章小結

第4 章 遠端存取與系統監控

4-1 遠端桌面與 SSH

4-2 跨網路存取

4-3 GPU 監控

4-4 系統監控

4-5 本章小結

▌第2 篇 地端模型推論入門

第5 章 Ollama

5-1 安裝 Ollama

5-2 下載與執行模型

5-3 API

5-4 調整設定

5-5 Modelfile 與匯入

5-6 已知問題

5-7 本章小結

第6 章 Open WebUI

6-1 安裝方式

6-2 連接模型

6-3 使用功能

6-4 多人使用

6-5 本章小結

第7 章 LM Studio 與桌面工具

7-1 Windows on Arm 的桌面工具

7-2 LM Studio

7-3 Jan

7-4 Foundry Local

7-5 本章小結

第8 章 llama.cpp

8-1 取得 llama.cpp

8-2 GGUF 與模型下載

8-3 命令列工具

8-4 重要參數

8-5 已知問題

8-6 本章小結

▌第3 篇 CUDA 推論進階

第9 章 PyTorch 與 vLLM

9-1 PyTorch on Windows Arm

9-2 Transformers 推論

9-3 缺 wheel 的套件

9-4 vLLM 走 WSL2

9-5 本章小結

第10 章 量化

10-1 量化的基本觀念

10-2 GGUF 量化等級

10-3 FP4 與 Blackwell

10-4 挑選量化

10-5 本章小結

第11 章 推論加速

11-1 注意力加速

11-2 投機解碼與 MTP

11-3 快取

11-4 TensorRT for RTX

11-5 本章小結

第12 章 方案比較

12-1 比較方法

12-2 推論工具比較

12-3 原生與 WSL2

12-4 使用情境

12-5 選擇建議

12-6 本章小結

▌第4 篇 多媒體AI 生成

第13 章 圖像與影片生成

13-1 安裝 ComfyUI

13-2 圖像生成

13-3 影片生成

13-4 統一記憶體的調整

13-5 本章小結

第14 章 語音、音訊與音樂

14-1 語音辨識

14-2 語音合成

14-3 即時語音對話

14-4 音樂生成

14-5 本章小結

▌第5 篇 多模態與 AI Agent

第15 章 視覺語言模型

15-1 VLM 入門

15-2 Ollama 與 llama.cpp

15-3 實際應用

15-4 大型 VLM

15-5 本章小結

第16 章 RAG

16-1 RAG 原理

16-2 建立索引

16-3 現成工具

16-4 自己寫一套

16-5 本章小結

第17 章 AI Agent 與 OpenShell

17-1 工具呼叫

17-2 Windows 的 Agent 基礎

17-3 OpenShell

17-4 Agent 框架

17-5 本章小結

第18 章 Hermes Agent 入門

18-1 Hermes Agent 是什麼

18-2 安裝桌面版

18-3 Local models 一鍵本機模型

18-4 接上自己的推論伺服器

18-5 第一個 Agent 任務

18-6 終端機的檢查與設定

18-7 自訂端點的排錯

18-8 已知問題

18-9 本章小結

第19 章 Hermes Agent 進階

19-1 技能

19-2 記憶

19-3 排程

19-4 MCP 與子 Agent

19-5 訊息平台

19-6 安全

19-7 本章小結

第20 章 模型路由

20-1 為什麼要模型路由

20-2 Switchyard

20-3 路由策略

20-4 decision model

20-5 在 RTX Spark 上架 decision model

20-6 Hermes Router

20-7 其他路由工具

20-8 本章小結

第21 章 編輯器與 Vibe Coding

21-1 終端機 Coding Agent

21-2 接上地端模型

21-3 VS Code

21-4 實戰

21-5 本章小結

▌第6 篇 Windows 生態與多機延伸

第22 章 Windows AI 堆疊

22-1 Windows ML

22-2 Foundry Local

22-3 Windows AI APIs

22-4 DirectML 現況

22-5 怎麼選

22-6 本章小結

第23 章 多機與混合部署

23-1 為什麼要多台

23-2 llama.cpp RPC

23-3 Wi-Fi 與有線網路

23-4 異質叢集

23-5 本章小結

▌第7 篇 模型微調與訓練

第24 章 Unsloth 微調

24-1 微調觀念

24-2 安裝 Unsloth

24-3 準備資料

24-4 訓練與評估

24-5 匯出

24-6 本章小結

第25 章 影像 LoRA

25-1 影像 LoRA 原理

25-2 訓練工具

25-3 訓練

25-4 使用 LoRA

25-5 本章小結

第26 章 PyTorch、PEFT 與 TRL

26-1 Hugging Face 微調堆疊

26-2 SFT

26-3 Windows 的限制

26-4 記憶體

26-5 本章小結

第27 章 DPO 與GRPO

27-1 偏好對齊

27-2 DPO

27-3 GRPO

27-4 評估

27-5 不用訓練的 abliteration

27-6 本章小結

第28 章 從零預訓練

28-1 預訓練的準備

28-2 訓練程式

28-3 訓練過程

28-4 結果

28-5 本章小結

個人Agent 和電視機及個人電腦的發明，都延續了前一代產品的外觀。個人Agent 長得像電腦，PC 一開始長得像電視＋打字機，而電視一開始則是延續之前皮影戲箱子的外觀，但以後的Agent 會是什麼樣子，沒人知道。個人Agent的出現，會讓我們的生活更便利，也會改變我們的工作方式。它可以幫助我們完成各種任務，從簡單的日常工作到複雜的專業任務。它可以學習我們的喜好和習慣，並提供個性化的建議和服務。它可以與其他Agent 互動，形成一個智慧網絡，讓我們的生活更方便。

要能成為個人Agent 的硬體，並不簡單，要有聰明的大腦、靈巧的雙手、豐富的記憶體、全面的加速、發揮的舞台，以及可擴充的知識。具備這六點，個人Agent 才能真正地實現。而RTX Spark 就是這樣的六強組合。它擁有最聰明的大腦Blackwell、最靈活調度的Grace CPU、完整的UMA 128 GB 記憶體、業界相容性最好的CUDA 加速、全世界最多人用的作業系統Windows，以及NVIDIA 新加入的Hugging Face 模型知識庫的優勢。這六強組合在宇宙中是第二次出現，第一次則是薩諾斯集齊了六顆無限寶石啊！

有了這樣一個完整的個人Agent 的產品以後，我們不再完全依賴雲端的LLM 服務，以後個人Agent 的LLM 部分一定是雲地混合。在需要複雜任務且和安全無關的部分，可以在雲端執行，但較簡單且資料不能外洩的部分，則可以在地端執行。RTX Spark 的出現，讓我們可以在地端執行大型的LLM 模型，這對於需要保護資料隱私的使用者來說，是一個非常重要的進步。

RTX Spark 和我前一本書介紹的DGX Spark 都使用Blackwell 架構的GPU與20 核的Arm CPU，記憶體的上限也都是128 GB，最大的不同是作業系統。DGX Spark 執行的是Linux，RTX Spark 執行的是Windows。這代表我們熟悉的桌面程式與辦公軟體都能照常使用，地端模型也可以直接放進日常的工作環境。大家擔心的Windows ARM64 的相容性問題，RTX Spark 已經解決了。RTXSpark 內建的Grace CPU 雖是Arm 架構，但經過微軟、輝達三年的打磨，Prism的相容性已經非常好，幾乎所有的Windows x64 程式都能在RTX Spark 上執行。RTX Spark 也支援CUDA，這代表我們可以在RTX Spark 上執行各種深度學習的程式，並且可以使用各種深度學習的框架，如TensorFlow、PyTorch、ONNX等等。

本書是實作出來的精華，每一章都在實機上操作過。從開箱後的驅動與CUDA，到Ollama、llama.cpp、ComfyUI 這些推論與生成的工具，再到Hermes Agent、模型路由與Coding Agent，最後是微調與從零預訓練。全書29 章，一共有超過一千張的截圖與示意圖，書裡的速度、記憶體與時間也都是在實測機上量出來的。遇到失敗的時候，我們把錯誤訊息與繞過的方法也一起寫進書裡，因為這些失敗正是Windows ARM64 現在的樣子，讀者自己動手時很可能也會遇到。

地端模型的意義，是讓資料留在自己的電腦裡，也讓我們不必為每一次的對話付費。本書在128 GB 的RTX Spark 就完成了讀圖、生圖、語音辨識、接上Coding Agent 與微調，這些工作以前大多要交給雲端的服務。RTX Spark 讓Windows 的使用者可以在自己的筆電上完整使用地端AI，而不必依賴雲端的服務。具備彈性及選擇權是極為重要的，RTX Spark 是個人Agent 的一個重要里程碑，本書也以ASUS ProArt 16 為實測機器，是目前市面上最完整的機型了。

AI 世界一日一變，你答應也得跟上，不答應也得跟上。Agent 的出現，打破了傳統各種階級的限制，不管你學歷、經歷、家世、背景、性別、年齡，能限制住你的，只有你自己的想像力。跟上AI 時代的腳步，超越自己，把自己放到無限大，AI 的世界裡，沒有什麼不可能！

胡嘉璽

於德國萊比錫

2026/10/25