NVIDIA NIM 完全攻略!免費雲端 API 用 150+ 個 AI 模型,還能下載到本地自己跑

0
124 人次

NVIDIA NIM 完全攻略!免費雲端 API 用 150+ 個 AI 模型,還能下載到本地自己跑

最近 AI 圈有一個話題讓很多人超級興奮:NVIDIA(輝達)悄悄地把旗下的 NIM 平台對所有人免費開放了!你不需要自己買顯示卡,不需要綁信用卡,只要有 Email 帳號和一支能收簡訊的手機,就能在 build.nvidia.com 上免費呼叫超過 150 種最新 AI 模型的 API——包含 DeepSeek、Llama、Kimi、Qwen、GLM 等你耳熟能詳的名字,通通都有!

更棒的是,如果你本身有 NVIDIA 顯示卡(像阿正老師的桌機就配了 RTX 5070 12GB),還可以把 NIM 的 AI 微服務下載到自己的電腦上跑,完全不依賴網路,資料也不會傳出去,隱私有保障。這篇文章阿正老師就來幫大家把 NVIDIA NIM 徹底搞清楚,從「NIM 是什麼」到「怎麼免費拿 API Key」,再到「有哪些好用模型」,一篇文章全部搞定!

不管你是想拿 AI API 來串接自己的小工具、還是想用 NIM 搭配 AI 代理人(像 OpenClaw 養龍蝦),甚至只是單純好奇「這個免費方案到底有多划算」,繼續讀下去你就會有答案!



image

一、NVIDIA NIM 是什麼?用一句話解釋

NIM 的全名是 NVIDIA Inference Microservices(NVIDIA 推論微服務)。聽起來很專業對不對?阿正老師幫你翻譯成白話文:

NIM 就是 NVIDIA 幫你把各種 AI 大模型打包好,放在自家強力的 GPU 伺服器上跑,然後開放一個簡單的 API 給你呼叫。你只要用幾行程式碼(甚至不用會寫程式)就能讓 AI 模型幫你生文章、寫程式、回答問題,而那些計算全都在 NVIDIA 的伺服器上跑,你的電腦只需要有網路就夠了。

除了雲端版,NIM 也有本地版本——如果你有 NVIDIA 顯示卡,可以把整個 AI 微服務下載到自己電腦上,完全離線運行,速度更快、隱私更好。

官方網站 build.nvidia.com
服務類型 雲端 AI API 託管 + 可下載本地微服務
模型數量 150+ 個(持續更新)
費用 免費(開發者方案)/ 付費企業版
API 格式 OpenAI 相容(直接替換 base_url 即可)
NIM 的 API 格式和 OpenAI 完全相容!如果你之前有寫過呼叫 ChatGPT API 的程式,只要把伺服器網址改成 https://integrate.api.nvidia.com/v1,模型名稱換一下,其他程式碼完全不用動,超方便!

ChatGPT Image 2026年5月17日 下午10_57_40

二、免費雲端 API:不用顯示卡也能用

NVIDIA NIM 最讓人驚喜的就是這個永久免費的雲端方案。只要你加入 NVIDIA 開發者計畫,就能獲得免費的 API 存取權,不需要任何顯示卡,你的舊筆電也能用!

免費方案的限制主要是速率限制(Rate Limit):每分鐘最多 40 次請求。這對於個人學習、測試開發、串接 AI 代理人工具(例如搭配養龍蝦 OpenClaw),都已經非常夠用了。要注意的是,目前免費方案不按 Token 計費,就是速率限制,很佛心!

⚠️ 免費方案是給開發測試用的,不適合用在大流量的正式上線產品。若要正式商業部署,需要購買 NVIDIA AI Enterprise 授權(每 GPU 每年約 4,500 美元)。

免費方案的重點整理:

  • 不需綁信用卡:只要 Email + 手機號碼(台灣 +886 可以過驗證)
  • 每分鐘 40 次請求(40 RPM):個人開發者非常夠用
  • 150+ 個模型全部可用:從最新的 DeepSeek V4、Kimi K2 到 Llama 4 通通有
  • API Key 有效期最長 1 年:一次申請長期使用
  • 完全在瀏覽器測試:進到 build.nvidia.com 不用寫程式,直接在網頁上輸入問題測試模型
阿正老師點評:這個免費方案真的相當佛心。以前要用 OpenAI 或 Anthropic 的 API,要先儲值才能用,而 NVIDIA NIM 直接讓你白嫖 150+ 個模型,對學生、自學者或想玩 AI 小工具的朋友來說是一大福音!


三、手把手教學:免費申請 API Key

申請過程很簡單,阿正老師幫你整理成 5 個步驟,大概 3 分鐘就能搞定!

步驟一:前往官網


打開瀏覽器,前往 build.nvidia.com,這就是 NVIDIA NIM 的 API 目錄平台。按下右上角的「login」,接著輸入你的Email:

image

步驟二:建立 NVIDIA 帳號

接著按下「更多登錄選項」:

image

會出現多種驗證方式,選擇一種來登入,並依照畫面指示進行驗證(如接收Email的認證碼):

image

完成之後再輸入一個NVIDIA的雲端帳號名稱,按下綠色按鈕後即可完成註冊,完全不需要輸入或登錄付款方式就能使用呦!

image

步驟三:產生並複製 API Key

按下最右上角的使用者圖示,在選單中點擊【API Keys】:

image

輸入API Key的名稱(例如Hermes Agent、OpenClaw …),下方可選擇金鑰的使用期限(從一個小時到一年,可自訂),最後按下〔Generate Key〕即可產生API金鑰。

image

點選後系統會自動產生一組以 nvapi- 開頭的 API 金鑰。請立刻複製並存放到安全的地方,這個 Key 只會顯示一次!

image

步驟四:開始使用!

拿到 Key 後,你可以直接在 build.nvidia.com 的網頁介面測試模型,可以點擊網頁上方的Models,就會出現目前可使用的各種模型,左側可以篩選類型,上方可以搜尋或排序,建議可以選擇「Most Popular」來找出最熱門的模型。

image

以目前最熱門的模型「nemotron-3-super-120b」來說,選擇之後,可在下方的對話視窗輸入提示詞,實際看看結果是否滿意,例如:「寫一首中國的古詩,用七言絕句的形式,主題是讚美春天的美好」。右上角有個「View Code」按鈕,可以查看如何寫程式來應用這個模型,等一下會介紹。

image

就可看到執行的結果。

image

按下畫面右上角的「View Code」之後,會顯示這個Prompt要怎麼寫程式,可按下〔Generate API Key〕產生一組API Key,上方則可選擇Python、LangChain、Node及Shell的程式寫法。另外如果你要將這個Model應用到其他地方(如OpenClaw、Hermes Agent…),請記得先將下面程式碼裡面的model=”….” 引號裡面這串文字(下圖紅框處)複製起來,就是該模型的「Model ID

image

有注意到嗎?上面的程式碼就是標準的 OpenAI Python SDK 寫法,只有把 base_url 換掉而已!所以如果你之前有寫過 ChatGPT API 的程式,搬過來幾乎不用改。
阿正老師點評:整個申請流程比我預期的順很多,台灣手機號可以直接過驗證,不需要 VPN,也不用上傳任何文件。對非技術背景的朋友來說,連程式都不用寫,直接在網頁上就能測試模型,真的很友善!

四、精選模型介紹:哪些模型最值得用?

NVIDIA NIM 上面的模型數量超過 150 個,涵蓋文字生成、圖像理解、語音辨識、嵌入向量等各種類型。阿正老師把最值得關注的模型整理給你:

文字生成模型(LLM)——最常用的類型

image

1. Meta Llama 4 系列(推薦指數:⭐⭐⭐⭐⭐)
Meta 最新一代開源語言模型,目前在 NIM 上有 Llama 4 Scout(17B 16E)和 Llama 4 Maverick(17B 128E)兩個版本。Maverick 擁有 128k Token 的超長上下文視窗,適合需要分析長文件的任務。對中文的支援也相當不錯,阿正老師試過拿來寫文章摘要,效果很滿意。

2. DeepSeek V4 / DeepSeek V3.2(推薦指數:⭐⭐⭐⭐⭐)
來自中國的 DeepSeek 系列一直是開源界的明星模型,在程式碼生成和數學推理上表現特別強。NIM 上有 DeepSeek V4(支援 1M Token 超長上下文)和 DeepSeek V4 Flash(速度更快、適合代理人任務)。如果你要拿來輔助寫程式,這個是阿正老師的首選!

3. Kimi K2.5(MoonshotAI)(推薦指數:⭐⭐⭐⭐)
月之暗面(Moonshot AI)出品的 Kimi K2.5,最大亮點是支援 200k Token 的超長上下文,適合需要一次吃下大量文件(例如整本 PDF 書籍)的場景。

4. Qwen 2.5 72B(阿里巴巴)(推薦指數:⭐⭐⭐⭐)
阿里巴巴的 Qwen 系列對繁體中文的理解能力在開源模型裡數一數二,72B 的大尺寸版本在日常對話、文章生成、程式輔助方面都表現得很平衡。台灣用戶如果需要繁中任務,很值得試試。

5. Mistral Large / Mistral Small 3.1(推薦指數:⭐⭐⭐⭐)
來自法國的 Mistral AI,一向以高效率著稱。在相同的模型大小下,Mistral 的回應速度通常比其他模型更快,適合需要快速回覆的應用場景。

6. Google Gemma 4 31B(推薦指數:⭐⭐⭐⭐)
Google 最新開源的 Gemma 4 系列,31B 版本在 NIM 上已可使用,在指令遵循和多輪對話上表現相當穩定。

7. GLM-5.1(智譜 AI)(推薦指數:⭐⭐⭐⭐)
清華大學與智譜 AI 合作開發,GLM 系列一直是中文語言模型的領頭羊,5.1 版本特別強化了代理人工作流程和長鏈推理能力。

8. MiniMax M2.7(推薦指數:⭐⭐⭐⭐)
MiniMax 最新的 M2.7 是一個 2300 億參數的 MoE(混合專家)模型,特別強在推理和多模態任務,2026 年 4 月才上架 NIM,相當新鮮。

NVIDIA 自家 Nemotron 系列

NVIDIA 自己也有調教過一系列模型,叫做 Nemotron。這些模型是在 NVIDIA 自己的 DGX 硬體上專門最佳化的,理論上在 NIM 平台上跑起來效能會比其他地方還要好。

  • Nemotron 3 Super 120B:旗艦版,適合複雜推理和結構化工具呼叫
  • Nemotron Nano 9B V2:輕量版,速度快、成本低,適合日常問答
  • Nemotron 3 Nano Omni:多模態版本,可以同時處理圖片、影片、語音和文字

特殊用途模型(語音、圖像、嵌入)

NIM 不只有文字模型!還有這些特殊功能的模型,全部都是免費的:

  • Riva(語音辨識 / TTS):NVIDIA 自家的語音轉文字和文字轉語音服務
  • NV-Embed(向量嵌入):適合建立 RAG(檢索增強生成)知識庫
  • Llama 3.2 Vision:支援圖片輸入的多模態版 Llama
  • Qwen Image Edit:可以用文字指令直接編輯圖片
  • NVIDIA Synthetic Video Detector:偵測 AI 生成影片的安全工具
阿正老師點評:模型數量多到讓人選擇困難症發作!阿正老師建議初學者先從 Llama 4 MaverickDeepSeek V3.2 開始,這兩個最穩定、社群資源也最多。有程式碼需求就選 DeepSeek,需要長文分析就選 Kimi K2.5。

image

五、本地部署:有 NVIDIA GPU 的進階玩法

如果你和阿正老師一樣有 NVIDIA 顯示卡(我的桌機是 RTX 5070 12GB),那除了用雲端 API,還可以把 NIM 微服務下載到本地電腦跑!好處是:資料完全不會傳出去、不受速率限制、而且速度更快。

⚠️ 硬體需求說明:本地部署 NIM 需要 NVIDIA GPU,且顯示記憶體(VRAM)要夠大。大部分 LLM 的 NIM 容器需要至少 A100 80GB 或 H100 這種企業級 GPU,一般消費者的 RTX 4090 / RTX 5090 可以跑較小尺寸的模型(如 8B、9B 左右)。如果你的 GPU 記憶體只有 8GB~16GB,建議還是用雲端 API 比較實際。

本地部署的基本流程:

第一步:加入 NVIDIA 開發者計畫
前往 developer.nvidia.com 免費註冊並加入開發者計畫,取得 NGC API Key(這是下載 NIM 容器用的金鑰,和前面雲端 API 的 Key 不同)。

第二步:安裝 Docker 和 NVIDIA Container Toolkit
本地 NIM 是以 Docker 容器的方式執行,所以需要先在你的電腦安裝 Docker Desktop,以及讓 Docker 能夠使用 NVIDIA GPU 的工具套件(NVIDIA Container Toolkit)。

第三步:下載並啟動 NIM 容器
以 DeepSeek R1 蒸餾版(Llama 8B)為例,啟動指令大概長這樣:

export NGC_API_KEY="你的NGC金鑰"
export LOCAL_NIM_CACHE=~/.cache/nim

docker run --gpus all --ipc=host \
  -e NGC_API_KEY \
  -v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
  -p 8000:8000 \
  nvcr.io/nim/deepseek-ai/deepseek-r1-distill-llama-8b:latest

啟動後,你的電腦就有了一個本地的 AI API 端點,網址是 http://localhost:8000/v1,呼叫方式跟雲端版完全一樣!

NVIDIA 開發者計畫會員可以免費下載 NIM 容器,用在開發測試用途(最多支援 16 張 GPU)。要用在正式商業產品,則需要 NVIDIA AI Enterprise 授權。
阿正老師點評:本地部署這件事對大多數一般用戶來說難度偏高,需要熟悉 Docker 和命令列操作。不過對於有技術背景的朋友,或是因為工作資料很敏感、不能傳上雲端的人,本地 NIM 確實是目前最方便的選擇之一——畢竟 Docker 指令下去,剩下的 NIM 都自動幫你搞定了!

六、NIM 可以拿來做什麼?實用情境一次看

很多人拿到免費 API 後,第一個問題就是「那我能做什麼?」阿正老師幫你整理最常見的實用場景:

情境 1:快速切換不同 AI 模型做比較
因為所有模型的 API 格式完全相同,你只要改一行 model=,就可以把同一個問題丟給 Llama、DeepSeek、Qwen 三個模型,比較看哪個回答最好,不需要分別去不同平台測試!

情境 2:搭配 VS Code / Cursor 輔助寫程式
NIM 的 API 可以直接串接到 Cline、Continue、Kilo Code 這類 VS Code 外掛,讓 AI 幫你在編輯器裡寫程式、改 Bug、解釋程式碼,而且完全免費!

情境 3:搭配 OpenClaw(養龍蝦)建立 AI 代理人
OpenClaw 是目前最紅的開源 AI 代理人工具,可以讓 AI 自動瀏覽網頁、讀寫檔案、執行任務。把 NIM 當作 OpenClaw 的大腦(AI 後端),就能免費建立一個能真正執行任務的 AI 助理!

情境 4:建立個人知識庫(RAG)
用 NIM 的嵌入模型(NV-Embed)把你的文件轉成向量,再配合文字生成模型,就能建立一個「只根據你自己的文件回答問題」的 AI 知識庫——完全免費,連費用都省了!

情境 5:語音辨識和轉錄
NIM 上的 Riva 語音模型可以把錄音轉成文字,適合做會議記錄、字幕生成等任務。


七、雲端 API vs 本地部署 比一比

比較項目 雲端 API(build.nvidia.com) ️ 本地部署(NIM 容器)
硬體需求 ✅ 不需要,只要有網路 ⚠️ 需要 NVIDIA GPU
費用 ✅ 免費(有速率限制) ✅ 免費下載(開發用途)
資料隱私 ⚠️ 資料會傳到 NVIDIA 伺服器 ✅ 資料留在本機,完全離線
使用速率限制 ⚠️ 每分鐘 40 次 ✅ 無限制
可用模型數量 ✅ 150+ 個 ⚠️ 依 GPU 記憶體決定
安裝難度 ✅ 超簡單(只要申請 Key) ⚠️ 需要懂 Docker
適合對象 初學者、個人開發者 有技術背景、重視隱私的用戶

八、實戰應用:NIM 搭配 Hermes Agent Desktop

介紹了這麼多 NIM 的模型,有讀者可能會問:「阿正老師,這些模型我要怎麼真正『用起來』,不只是在網頁上問問題?」阿正老師這裡要介紹一個超實用的組合——把 NVIDIA NIM 當成 Hermes Agent Desktop 的 AI 大腦,讓你的 AI 代理人免費升級!

Hermes Agent Desktop 是一個開源的 AI 代理人桌面工具(詳細介紹可以看阿正老師這篇:Hermes Agent Desktop 教學),它可以幫你自動執行任務、管理記憶、安裝技能……而它的 AI 後端支援任何 OpenAI 相容格式的 API——這正好是 NVIDIA NIM 的強項。兩個都是免費的,組合起來就是零成本的強力 AI 代理人!

為什麼選 NIM 而不是 Ollama?

Hermes Agent Desktop 原本最常搭配 Ollama(本機跑模型),但 Ollama 需要你的電腦有足夠效能。NIM 雲端 API 的優點是:

  • 不需要強力顯示卡:普通筆電也能用,算力都在 NVIDIA 的 DGX Cloud 上
  • 模型選擇更多:150+ 個模型,Ollama 本機能跑的種類受 VRAM 限制
  • 完全免費:每分鐘 40 次請求,對 Hermes 日常代理人任務完全夠用
  • 隨開隨用:不需要等 Ollama 把模型載入記憶體,API 呼叫即時回應

設定步驟:三分鐘完成串接

前提:你已經有 Hermes Agent Desktop(還沒安裝的話先看這篇教學),以及已申請好 NVIDIA NIM 的 API Key(申請方式見本文第三章)。

第一步:開啟 Hermes Agent Desktop,進入 Settings(設定)
啟動 Hermes Agent Desktop 後,點選左側選單的「Model」分頁,按下右上角的〔+Add Model〕按鈕:

image

第二步:Provider 選擇「Local/Custom」
在 Provider 下拉選單裡,選擇「Local/Custom」。這個選項就是讓你填入任何相容 OpenAI 格式的第三方 API 端點。

第三步:填入 NVIDIA NIM 的端點網址與 API Key
出現輸入欄位後,填入以下資訊:

Base URL(端點網址) https://integrate.api.nvidia.com/v1
API Key 貼入你在 build.nvidia.com 申請的 nvapi- 開頭金鑰
Model ID(模型ID) 填入你要使用的模型,例如 nvidia/nemotron-3-super-120b-a12b

image

至於說模型的ID要怎麼找呢?在剛才介紹過的模型的〔View Code〕中有串「Model ID」,填那串文字(不要含引號)就對了,如 nvidia/nemotron-3-super-120b-a12b

第四步:儲存並測試
填好後點「Add Model」儲存設定,接著回到聊天視窗,隨便輸入一句話(例如「你好」)。如果 Hermes 正常回應,就代表 NIM 已經成功串接!

⚠️ 模型名稱要填完整字串,例如 meta/llama-4-maverick-17b-128e-instruct,不能只填 llama4。完整的模型 ID 可以在 build.nvidia.com/models 點進各模型頁面,在「API」分頁的範例程式碼裡找到。

推薦搭配 Hermes 的 NIM 模型

不同的 Hermes 使用情境,建議搭配不同的 NIM 模型:

使用情境 推薦 NIM 模型 原因
日常對話、任務指派 meta/llama-4-maverick-17b-128e-instruct 指令遵循強、128k 上下文
程式撰寫、Debug 技能 deepseek-ai/deepseek-v3-0324 程式碼能力頂尖
長文分析、文件摘要 moonshotai/kimi-k2.5 200k 超長上下文視窗
繁體中文寫作、翻譯 qwen/qwen2.5-72b-instruct 中文理解和生成品質佳
複雜推理、多步驟任務 nvidia/nemotron-3-super-120b-a12b NVIDIA 最佳化、工具呼叫強
Hermes Agent Desktop 支援多組設定檔(Profiles)切換,你可以建立多個 Profile,分別對應不同的 NIM 模型。例如「程式開發」Profile 用 DeepSeek、「中文寫作」Profile 用 Qwen,依任務類型一鍵切換,不需要每次重填設定!
阿正老師點評:NIM + Hermes Agent Desktop 這個組合,說真的是目前阿正老師覺得最適合一般用戶的「零成本 AI 代理人」方案。兩個都免費、兩個都不需要打指令、合起來又有超過 150 個模型可以選。如果你之前覺得養 AI 代理人門檻太高,現在真的沒有藉口了!

九、阿正老師的總結建議

玩了一圈下來,阿正老師覺得 NVIDIA NIM 真的是 2026 年最值得推薦的免費 AI 工具之一。根據不同的使用情境,這裡給大家幾個建議:

剛開始接觸 AI API,不知道從哪下手

直接去 build.nvidia.com 申請免費帳號,先在網頁上試試各種模型,不用寫任何程式,感受一下各模型的差異再決定下一步。

想用 AI 幫忙寫程式、Debug

DeepSeek V3.2 或 DeepSeek V4。程式碼任務的表現一直很穩,搭配 VS Code 的 Cline 外掛,效果更好。

需要分析很長的文件、PDF 或書籍

Kimi K2.5(200k 上下文)或 Llama 4 Maverick(128k 上下文)。可以一次吃下大量文字再做摘要分析。

任務涉及繁體中文,或需要中文寫作輔助

Qwen 2.5 72BGLM-5.1。這兩個模型對中文的理解和生成品質,在開源模型裡是頂尖的。

有 NVIDIA GPU、希望資料不外傳

本地部署 NIM 容器。按照本文第五章的步驟,用 Docker 把模型跑在自己電腦上,完全離線,資料不出門。

想搭配 OpenClaw 養龍蝦、建立 AI 代理人

NIM 雲端 API + Llama 4 Maverick 或 DeepSeek V3.2。每分鐘 40 次的速率限制對代理人任務來說通常夠用,完全零費用!


NVIDIA NIM 值得你現在就去申請!

NVIDIA NIM 這個免費方案說真的非常佛心。不需要信用卡、不按 Token 計費、一個帳號可以用 150+ 個模型,對個人學習、開發測試來說簡直是天上掉下來的禮物。阿正老師覺得現在不去申請,等於是放著免費的 NVIDIA H100 算力不用!前往 build.nvidia.com 馬上試試,記得申請到最多 5,000 個免費 credits 額度,盡量用!

你有沒有試過 NVIDIA NIM?覺得哪個模型最好用?歡迎在下面留言跟阿正老師分享!

留下回覆

請輸入你的評論!
請在這裡輸入你的名字

This will close in 5 seconds