Bonsai 2 小模型來了!純語言模型檔最低 0.43GB,費用、看圖功能與本地執行限制一次看(2026)

0
16 人次

Bonsai 2 小模型來了!純語言模型檔最低 0.43GB,費用、看圖功能與本地執行限制一次看(2026)

想在自己電腦或手機裡放一個 AI,最先卡住的往往不是功能,而是模型太大、記憶體不夠。如果語言模型檔縮到不到 1GB,能理解指令、協助應用程式呼叫工具,加上必要的視覺模組後還能看圖,是不是就比較有機會用得上?

PrismML 在官方日期 2026 年 10 月 15 日的公告中,推出 Bonsai 2 2B、4B、9B 三款小型模型。這批新成員的基底是 Qwen3.5,接續先前的 Bonsai 2 27B,讓同一個家族有更小的選擇。阿正老師覺得,這次值得關注的是「能不能讓日常裝置處理一些實用工作」。

不過先把最容易誤會的一點說清楚:最低 0.43GB 是特定格式的語言模型檔案大小,並不是整套 AI 執行時只吃 0.43GB 記憶體。這篇依官方貼文、技術文件與模型卡整理,尚未進行安裝及效能實測。最後更新:2026 年 10 月。(官方發布公告)



一、Bonsai 2 是什麼?這次更新了哪幾款

Bonsai 2 是 PrismML 的開放權重模型家族,可以接收文字與圖片,再用文字回答。這次加入的是 2B、4B、9B;B 代表十億參數,可先把它理解為不同規模的型號,而不是下載檔案的 GB 數。

不同裝置依資源與任務選擇小型模型的示意圖

它們利用「三元量化」縮小模型:讓語言模型的大量權重以負一、零、正一表示,再搭配縮放等資訊儲存。白話來說,是用更精簡的方式裝下模型;壓縮後仍有能力取捨,不代表所有任務都與原始模型一模一樣。模型文件也列出部分較高精度的資料,不能把整個檔案想成每個數值都只占一個位元。

官方網站 PrismML/官方技術文件
本次介紹版本 Ternary Bonsai 2 2B、4B、9B(官方公告日期:2026-10-15)
支援環境 Windows/macOS/Linux 可參考官方示範專案。官方發布公告提到 NVIDIA 顯卡經 llama.cpp、Apple 裝置經 MLX;無獨立顯卡的 Windows 電腦表現,該公告未說明。實際支援取決於模型格式、執行引擎與裝置。
輸入與輸出 文字、圖片輸入,文字輸出;支援工具呼叫。不是圖片生成模型。
中文與台灣 繁中回答品質、完整繁中介面待確認;未找到台灣專屬限制,台灣連線與商店下載狀態未實測。
費用 模型權重可免費下載,Apache 2.0 授權;自架仍有硬體與電力成本,第三方服務另計。
軟體下載 [本站LM Studio下載點]

本站先前介紹過 Bonsai 2 27B。這篇補上新推出的小型成員;小模型的速度與測試成績,不能直接套到 27B 上。


二、0.43GB 到 2GB,三種尺寸怎麼選

先看大家最在意的容量。官方文件把同一模型的不同儲存格式分開列示,下面刻意把最小 GGUF、預設 GGUF 與 MLX 分成三欄,避免拿不同內容的檔案互比。

型號 最小 GGUF
PTQ1_0
預設 GGUF
PQ2_0
MLX
含視覺模組
可優先評估的用途
2B 0.43GB 0.52GB 1.34GB 記憶體吃緊、範圍明確的小任務
4B 0.95GB 1.15GB 2.05GB 手機、平板與容量/能力之間的折衷
9B 2.00GB 2.42GB 3.46GB 筆電、桌機上的一般助理任務

容量資料來源:官方型號與格式總表。用途欄為編輯依容量做的選擇建議,非官方建議,也非實測結論。

⚠️ GGUF 表列容量只含語言模型。看圖還要加上視覺模組,執行時也要預留對話快取、暫存與系統空間。例如 9B 的預設 GGUF 約 2.42GB,建議的 Q8_0 視覺模組另約 0.62GB;不能據此宣稱「2GB RAM 的手機就能順跑」。

上述例子可查 9B 官方模型卡。如果只是想知道哪款值得先試,阿正老師會建議:先確認引擎相容,並在模型、視覺模組之外預留快取與系統空間;資源足夠的電腦可評估 9B,資源不足則從 4B 或 2B 開始,再用同一組題目比較回答品質。這是編輯建議,並非最低硬體保證;無獨立顯卡的 Windows 電腦表現仍待確認。


三、看圖、推理、工具呼叫,能幫忙做什麼

這批模型同時支援文字與圖片輸入,可以拿來測試圖片問答、短文整理與指令理解。官方文件列出的上下文上限為 262,144 tokens,但 token 不等於中文字數,也不代表一般手機適合把這個上限開滿。(9B 模型規格)

「工具呼叫」則可以想成:AI 判斷需要哪個工具,產生結構化的請求,再由應用程式實際執行。例如讀取一張活動海報後,提出新增行事曆事件的請求。這是應用情境示例;模型本身不會因為下載完成,就自動取得手機行事曆、檔案或其他 App 的操作權。要完成任務,仍需要開發者接好工具、權限與確認流程。

本地AI提出工具請求後,由應用程式確認執行並回傳結果的流程示意圖
本地AI提出工具請求後,由應用程式確認執行並回傳結果的流程示意圖

對一般讀者來說,可從「把一小段文字整理成固定格式」開始測試,再逐步挑戰看圖問答。先確認它能穩定完成一件小事,比一開始就期待它接管整個工作流程更容易看出價值。


四、手機速度與官方成績,應該怎麼看

官方公告列出的 iPhone 18 Pro Max 生成速度,9B 最高約 34 tokens/秒、2B 最高約 120 tokens/秒。這是 PrismML 的特定裝置測試值,不是所有手機、所有提示詞都能達到的速度,也不是每秒產生多少個中文字。

至於官方公告提到 9B「約少用 40% token」,範圍是標準指令遵循與日常數學任務,但官方未說明這個 40% 的比較基準。這只能視為官方在指定任務中的輸出量減少宣稱,不能直接換算成所有問題都快 40%,或使用費都省 40%。

壓縮也有代價。以官方 9B 對照原始 Qwen3.5-9B 的表格為例,知識與推理類整體保留率為 93.0%,工具與代理類為 92.4%;這些是相對於基底的分數比例,不是日常工作成功率。阿正老師會把它當成選擇測試方向的依據,真正採用前仍要測自己的任務。(以上速度、輸出量與評測數字來源:官方公告)


五、Windows、Mac、手機,哪裡能用

Windows/Linux 電腦:可從官方示範專案與 GGUF 格式入手。Apple 晶片 Mac:可評估 GGUF 或 MLX。iPhone/iPad:官方試用文件指向 Locally AI,實際能否選到這批新型號,仍要查看 App 當下的模型清單及裝置條件。(電腦快速開始)、(手機與線上試用路線)

不過,官方發布公告提到的是 NVIDIA 顯卡經 llama.cpp、Apple 裝置經 MLX;無獨立顯卡的 Windows 電腦表現,該公告未說明。示範專案提供 Windows 流程,不代表各種 Windows 硬體都能達到相同體驗。

最需要留意的是格式與執行引擎必須配對。官方文件指出,最小的 PTQ1_0 和預設 PQ2_0 需要 PrismML 提供的引擎;一般上游 llama.cpp 目前支援的是 Q2_0,還須使用已加入 Bonsai 2 支援的 b11555 或更新版本。9B 的 Q2_0 語言模型檔約 2.56GB,因此不能把它與表中的 2.00GB 最小檔混為一談。

引擎不相容時,兩種情況要分開看:舊版上游引擎可能載入 Q2_0 後輸出不合邏輯的內容;PTQ1_0/PQ2_0 則會被目前一般上游引擎以未知格式拒絕載入。檔案都叫 GGUF,不代表軟體一定能讀。(官方格式相容表)

PrismML 的 LM Studio 整合文件提醒,相容性取決於 App 內附的引擎與模型載入器;使用上游 llama.cpp 引擎的 GGUF 路線,須確認版本及 Q2_0 格式,MLX 路線也須確認載入器支援。至於 Ollama,本次未見 Ollama 官方文件針對 Bonsai 2 的相容說明,請自行確認;不能由 LM Studio 的說明推定 Ollama 已支援。

五、Windows、Mac、手機,哪裡能用-Bonsai 2 小模型來了!純語言模型檔最低 0.43GB,費用、看圖功能與本地執行限制一次看(2026)

阿正老師點評:這次的門檻不只在硬體,也在軟體是否跟上。如果下載後回答怪怪的,先查引擎相容性與官方建議設定,再判斷模型品質。不要直接沿用其他模型的設定。

六、免費嗎?支援繁體中文嗎?台灣能用嗎

模型權重可免費下載,採 Apache 2.0 授權。這讓個人與開發者有機會自行部署,但仍要遵守授權條件;免費權重也不等於免費手機 App、免費雲端 API 或免費硬體。(官方小模型集)

官方發布公告提到 Darkbloom API 試用管道,本文未確認其現行價格與優惠剩餘名額,不把限量活動當成永久免費方案。(Darkbloom 試用資訊出處:官方發布公告)

繁體中文:待確認。本次查閱的資料沒有提供台灣用語、繁中文字辨識或繁中回答品質的專項評測,本文也沒有實測。建議試用時要求「請以台灣繁體中文回答」,再檢查是否混入簡體字、是否遵守指定格式,以及圖片中的繁中文字是否辨識正確。模型能回答中文與操作介面有繁中,是兩件不同的事。

台灣可用性:目前查閱的官方資料未列出台灣專屬限制,但本次沒有從台灣裝置完成下載與執行驗證。本地模型在檔案與環境備妥後可於裝置端推論;第三方 API、App 商店上架地區、帳號資格及網路連線狀況,仍須分別確認。

此外,本地推論的隱私優勢取決於整套應用如何設計。如果另外接了搜尋服務、雲端模型或網路工具,資料仍可能送出裝置,不能只因模型在本地就保證整段工作流程完全離線。


七、想試用,先選對模型與執行方式

這篇定位是介紹文,以下是試用前的選擇順序,不是已經替大家驗證過的安裝教學:

  1. 先決定用途。只測文字整理,與要讀圖片、連續叫工具,所需檔案及測試方法不同。
  2. 到官方小模型集挑尺寸與格式。不要把 Bonsai 第一代、Bonsai 2 27B 或名稱相近的其他 Bonsai 系列模型混在一起。
  3. 依官方快速開始文件設定型號。示範專案預設會選 27B;想試 9B、4B、2B,須先指定模型,避免下載到原本沒打算測的大型版本。
  4. 先測一小組固定題目。例如三點摘要、台灣繁中改寫,以及一張自己能確認內容的圖片。記錄正確性、等待時間與記憶體使用情形,再決定是否加入日常工作。

官方示範專案會下載模型與執行環境;Apple 晶片平台還可能下載額外的 MLX 套件與模型。請先看清楚下載內容和磁碟需求。(官方快速開始文件)

第一次接觸本地 AI,可以先看本站的 Ollama 入門介紹 或 LM Studio 教學 了解基本概念;Bonsai 2 的實際相容條件,仍以本文前述官方文件為準。

七、想試用,先選對模型與執行方式-Bonsai 2 小模型來了!純語言模型檔最低 0.43GB,費用、看圖功能與本地執行限制一次看(2026)


八、阿正老師的總結:適合誰關注

阿正老師認為,這次發布的意義是把本地 AI 的選擇往更小的裝置延伸。對需要離線處理、資源有限,或想開發裝置端小幫手的人,Bonsai 2 小模型值得列入測試清單。對只想打開 App 就能穩定聊天的人,格式和引擎的門檻仍要納入考量。

有本地 AI 經驗,想找較小的電腦助理模型

→ 確認引擎相容、記憶體能容納模型與執行開銷後,可評估 Bonsai 2 9B,再用自己的工作題目比較品質。

裝置記憶體有限,或只需要完成固定小任務

→ 可評估 4B 或 2B;重點是能否穩定完成目標,而不是只挑最小檔案。

希望手機下載後立即使用

→ 先確認 App 的模型清單與支援機型。官方手機展示不能當成所有手機的效能保證。

官方資料與延伸閱讀(查閱日期:2026-10-16):

小模型的價值,留給日常任務來驗證

Bonsai 2 讓手機與一般電腦多了一組值得嘗試的模型。選擇時記得一起看檔案內容、執行引擎和回答品質,才知道它能不能成為自己的本地小幫手。你最想讓離線 AI 幫忙整理文件、讀圖片,還是處理固定小任務?

歡迎在下面留言跟阿正老師分享!

留下回覆

請輸入你的評論!
請在這裡輸入你的名字