本地端模型 vs 前沿模型：差異、用法與怎麼選，一次看懂
本地端模型裝在自己的電腦上執行，前沿模型則透過雲端服務使用。本文用白話比較兩者在能力、隱私、成本與硬體需求上的差異，示範 Ollama 的基本用法，並提供依情境選擇與混合使用的建議。
本文導覽
現在使用 AI，大致有兩條路。一條是打開 ChatGPT、Claude、Gemini 這類線上服務，直接使用各家最強的模型；另一條是把模型下載到自己的電腦上，不連網也能跑。
前者通常稱為前沿模型（frontier model），指的是各大 AI 公司目前能力最強、只能透過雲端使用的模型。後者稱為本地端模型（local model），通常是公開權重的開源或開放模型，可以自己下載、自己執行。
兩者沒有絕對的好壞，差別在於你重視什麼：最強的能力，還是資料不外流與可控的成本。
前沿模型像是去頂級餐廳用餐，菜色最好但要付費、也要照餐廳規矩；本地端模型像是在家自己煮，選擇較少，但食材怎麼用完全由你決定。
一句話重點
需要最強推理、長任務與最新能力時，用線上前沿模型；重視隱私、離線使用、大量重複處理或想控制成本時，用本地端模型。實務上，多數人與企業最後會混合使用兩者。
兩者到底差在哪？
前沿模型（線上）
前沿模型由 OpenAI、Anthropic、Google 等公司在大型資料中心運行。你透過網頁、App 或 API 傳送問題，模型在雲端算完再把答案傳回來。
目前的代表包括 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 與 Gemini 4 Argon。
本地端模型
本地端模型是把模型的權重（weights）下載到自己的電腦。權重可以想成模型「學到的知識」，是一個很大的檔案。下載後，運算全部在你的電腦上完成。
常見的開放模型家族包括 Google 的 Gemma、阿里巴巴的 Qwen、OpenAI 的 gpt-oss、Meta 的 Llama 與 DeepSeek 等。
差異比較表
| 比較項目 | 前沿模型（線上） | 本地端模型 |
|---|---|---|
| 能力上限 | 最高，擅長複雜推理與長任務 | 較低，但日常任務已夠用 |
| 資料隱私 | 資料會傳到服務商伺服器 | 資料留在自己電腦 |
| 需要網路 | 需要 | 下載後可離線 |
| 費用 | 月費或依 token 計價 | 硬體與電費，使用次數不另外收費 |
| 硬體需求 | 一般電腦或手機即可 | 需要足夠的記憶體或顯示卡 |
| 速度 | 穩定，但受網路與服務尖峰影響 | 取決於你的硬體 |
| 上下文長度 | 可達 100 萬 token 等級 | 通常較短，也受記憶體限制 |
| 工具整合 | 內建搜尋、程式執行、代理功能 | 需要自己搭配工具 |
| 更新 | 服務商自動更新 | 自己決定何時換版本 |
| 可控性 | 受服務商政策與限制影響 | 可自由微調與客製 |
本地端模型需要什麼硬體？
本地端模型最大的門檻是記憶體。模型越大，需要的記憶體越多。
一般會用量化（quantization）來縮小模型。量化是把模型內部數字的精確度降低，例如從 16 位元壓到 4 位元，檔案大約變成原本的四分之一，能力只會小幅下降。
以常見的 4 位元量化粗估，每 10 億個參數大約需要 0.6 GB 左右的記憶體，再加上對話內容所需的額外空間：
| 你的設備 | 適合的模型大小 | 可以考慮的模型 |
|---|---|---|
| 8 GB 記憶體筆電 | 約 2B–4B | Gemma 4 E2B / E4B、Qwen3.5 4B |
| 16 GB 記憶體筆電 | 約 8B–20B | Qwen3.5 9B、gpt-oss 20B |
| 24 GB 顯示卡或 32 GB Mac | 約 27B–35B | Gemma 4 31B、Qwen3.5 27B、Qwen3-Coder 30B |
| 64 GB 以上 Mac 或工作站 | 70B 以上 | gpt-oss 120B、Qwen3.5 122B |
以上是粗略估計，實際需求會因量化方式、上下文長度與軟體而不同。Apple Silicon 的 Mac 因為 CPU 與 GPU 共用記憶體，跑本地模型特別方便。想了解 GPU 為什麼重要，可以參考本站的 CPU、GPU、NPU、TPU 差異。
本地端模型怎麼開始用？
最簡單的工具是 Ollama，它把下載、執行與管理模型包裝成幾個指令。另外，LM Studio 提供圖形介面，適合不習慣指令列的人；llama.cpp 則是許多工具底層使用的開源引擎，適合進階使用者。
1. 安裝 Ollama
macOS 與 Windows 可從官網下載安裝程式；Linux 可用：
curl -fsSL https://ollama.com/install.sh | sh
2. 下載並執行模型
# 輕量模型，一般筆電就能跑
ollama run gemma4:e4b
# 16 GB 記憶體以上可試試
ollama run gpt-oss:20b
# 查看已下載的模型
ollama list
執行後就能直接在終端機對話。第一次會先下載模型檔，可能需要幾 GB 的空間。
3. 讓其他程式呼叫
Ollama 會在本機開一個 API，預設位置是 http://localhost:11434，而且相容 OpenAI 的 API 格式。很多原本支援 OpenAI 的工具，只要把網址改成本機，就能改用本地模型：
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"gemma4:e4b","messages":[{"role":"user","content":"用三句話解釋什麼是量化"}]}'
注意：Ollama 模型庫中部分模型也提供雲端版本（標示為 cloud）。如果你的目的是資料不外流，請確認使用的是本機版本。
前沿模型怎麼用？
前沿模型的用法分兩種：
- 網頁與 App：直接訂閱 ChatGPT、Claude 或 Gemini，適合一般使用者。
- API：開發者用程式呼叫，依使用的 token 數計費，適合整合進自己的產品或自動化流程。
使用前沿模型時，建議注意：
- 資料使用政策：不同方案對「是否用你的資料訓練模型」規定不同，企業版或 API 通常較嚴格，免費或特定方案可能會使用資料。
- 價格變動：模型價格常調整，例如 Gemini 4 Argon 的 API 價格在 2026 年 12 月 1 日起調漲一倍。
- 用量限制：訂閱方案通常有每 5 小時或每週的使用上限。
費用比較：哪一種比較省？
費用是很多人考慮本地端模型的主要原因，但實際算下來，答案取決於「用量」。以下分成三種情況來看。
1. 前沿模型：訂閱方案
一般使用者最常見的是月費訂閱，價格大致落在同一個區間：
| 方案 | 月費（美元，約） | 說明 |
|---|---|---|
| ChatGPT Plus | 20 | OpenAI 主力個人方案 |
| Claude Pro | 20（年繳約 17） | Anthropic 個人方案 |
| Google AI Pro | 約 20 | 可使用 Gemini 4 Argon |
| 高用量方案（ChatGPT Pro、Claude Max、Google AI Ultra） | 100 起，最高約 200 以上 | 用量為一般方案的數倍 |
以 1 美元約 30 元新台幣粗估，一般方案每月約 600 元。各地區價格、稅金與匯率不同，訂閱前請以官方頁面為準。
2. 前沿模型：API 計價
API 依 token 計費。token 是模型處理文字的單位，不等於中文字數。以下是本站先前整理的官方標準價格（每 100 萬 tokens，美元）：
| 模型 | 輸入 | 輸出 |
|---|---|---|
| Claude Haiku 5.5 | 0.10 起 | 0.50 起 |
| Claude Sonnet 5.5 | 2 | 10 |
| GPT-6.1 Sol | 2 | 10 |
| Gemini 4 Argon（至 11/30） | 2 | 10 |
| Gemini 4 Argon（12/1 起） | 4 | 20 |
| Claude Opus 5.5 | 4 | 20 |
| GPT-6 Astra、Claude Fable 5.1 | 10 | 50 |
用一個實際例子比較：摘要 1,000 份文件，每份輸入約 5,000 tokens、輸出約 500 tokens，總共是 500 萬輸入 tokens 與 50 萬輸出 tokens。
| 使用的模型 | 估算費用（美元） | 約合新台幣 |
|---|---|---|
| Claude Haiku 5.5 | 約 0.75 | 約 23 元 |
| Sonnet 5.5／GPT-6.1 Sol／Gemini 4 Argon（目前價格） | 約 15 | 約 450 元 |
| Claude Opus 5.5 | 約 30 | 約 900 元 |
| GPT-6 Astra／Claude Fable 5.1 | 約 75 | 約 2,250 元 |
| 本地端模型 | 不收 token 費 | 只有電費 |
要注意，有些模型的「思考」過程也會算成輸出 token，實際費用可能比估算高。另外，選對模型的影響很大：同一份工作，用最便宜與最貴的模型，費用可能相差上百倍。
3. 本地端模型：硬體與電費
本地端模型不收使用費，成本主要是硬體與電費：
| 設備等級 | 硬體成本（新台幣，粗估） | 執行時耗電（約） |
|---|---|---|
| 現有 16 GB 筆電 | 0（已有設備） | 30–60 瓦 |
| 32 GB 以上的 Mac mini 或迷你電腦 | 約 3 萬–5 萬元 | 40–80 瓦 |
| 搭載 24 GB 顯示卡的桌機 | 約 6 萬–10 萬元以上 | 350–500 瓦 |
硬體價格會因規格與市場行情變動，近年記憶體價格波動也很大，以上只能當作量級參考。
電費方面，以台電住宅累進電價每度約 2 到 5 元計算：
- Mac mini 等級：每天跑 4 小時、約 60 瓦，一個月約 7 度電，電費約 15 到 35 元。
- 顯示卡桌機：每天跑 4 小時、約 450 瓦，一個月約 54 度電，電費約 110 到 270 元。
怎麼算才划算？
把以上數字放在一起看：
- 輕度使用者：每月訂閱約 600 元，就能用到最強的模型。如果為了省錢買一台 4 萬元的電腦跑本地模型，大約要 5 年以上才回本，而且能力還比較弱。單純為了省錢，不建議買新硬體。
- 已經有合適設備的人：本地模型幾乎只多了電費，用來處理日常、重複的工作非常划算。
- 大量處理資料的團隊：如果每月 API 費用達到數千到數萬元，而且任務本地模型就能勝任，投資硬體可能在一年內回本。
- 重視隱私的情境：這時成本不是重點，資料不能外流才是。本地模型的價值在於「能不能做」，而不是「省多少」。
最省錢的做法通常不是只選一邊，而是依任務選模型：簡單任務交給本地模型或 Haiku 這類便宜模型，只有真正困難的工作才用最貴的前沿模型。
使用建議：什麼情況用哪一種？
| 情境 | 建議 | 原因 |
|---|---|---|
| 處理客戶個資、合約、病歷等機密資料 | 本地端 | 資料不離開公司或個人設備 |
| 大量文件分類、摘要、翻譯初稿 | 本地端 | 重複任務多，本地執行不需另外付 token 費用 |
| 沒網路或網路不穩的環境 | 本地端 | 下載後可離線使用 |
| 複雜程式開發、大型重構 | 前沿模型 | 推理能力與長上下文差距明顯 |
| 需要查最新資訊 | 前沿模型 | 內建搜尋與查證工具 |
| 重要決策、專業分析 | 前沿模型，並由人工複核 | 錯誤率較低，但仍需檢查 |
| 學習 AI 原理、做實驗 | 本地端 | 可自由調整、不怕費用 |
| 一般人日常問答、寫作 | 前沿模型 | 最省事，不必準備硬體 |
混合使用最實際
很多團隊會採用「分工」的方式：
- 敏感資料先在本地處理：例如用本地模型把個資去識別化，再把整理過的內容交給前沿模型分析。
- 簡單任務交給本地，困難任務交給雲端：分類、擷取欄位這類工作用本地模型；需要深度推理時才呼叫前沿模型，可以明顯降低費用。
- 本地模型搭配自己的資料庫：用 RAG（檢索增強生成） 讓本地模型查詢公司內部文件，彌補知識不足的問題。
適合誰用本地端模型？
- 重視資料隱私的企業、醫療、法律、金融相關工作者。
- 需要大量批次處理文字的團隊。
- 想學習 AI 運作方式的開發者與學生。
- 已經有 Apple Silicon Mac 或高階顯示卡的人。
可能不適合誰？
- 電腦記憶體只有 8 GB 以下、又需要高品質回答的人：小模型的能力差距會很明顯。
- 不想處理安裝、更新與硬體問題的一般使用者：直接用線上服務更省事。
- 需要最強推理、長任務代理或最新資訊的工作：本地模型目前仍追不上前沿模型。
我們的觀察
本地端模型這兩年進步很快。現在一台 16 GB 記憶體的筆電，就能跑出足以處理摘要、翻譯、分類等日常工作的模型，這在幾年前很難想像。
但「能跑」不等於「跑得跟前沿模型一樣好」。在複雜推理、長時間代理任務與工具整合上，線上前沿模型仍有明顯優勢。我們的建議是：先用前沿模型確認任務能做到什麼程度，再評估哪些環節可以改用本地模型來保護資料或節省成本。
最後提醒，本地端不代表絕對安全。如果你另外替本地模型接上網路搜尋、外部外掛或雲端同步，資料仍然可能流出。真正的隱私，來自對整條資料流程的掌握，而不只是模型放在哪裡。
來源
- Ollama 模型庫：https://ollama.com/library
- Ollama 官方文件：https://docs.ollama.com/
- Ollama OpenAI 相容 API 說明：https://docs.ollama.com/api/openai-compatibility
- LM Studio 官方網站：https://lmstudio.ai/
- llama.cpp GitHub：https://github.com/ggml-org/llama.cpp
- Gemini API 價格：https://ai.google.dev/gemini-api/docs/pricing
- Claude 方案價格：https://claude.com/pricing
- Google AI 訂閱方案：https://gemini.google/subscriptions/
- 台電電價表：https://www.taipower.com.tw/
- API 價格另參考本站 Claude Opus 5.5、GPT-6.1 Sol、Gemini 4 Argon 文章；ChatGPT 與高用量方案價格參考第三方整理，請以官方頁面為準
- 查閱日期：2026-10-21