網路與網站知識 • 使用 AI 的小知識 -- 本地佈署小模型

使用 AI 的方式主要有三種類型:
1. 連網使用 AI 大模型. 例如: ChatGPT, DeepSeek, Gemini 官網或分支
優點: 容易使用
缺點: 上傳的資料可能被拿來當AI的訓練資料, 故機密資料不宜使用這種方式. 然而,有些AI提供者宣告涉及個人或公司的名稱資料會做虛擬化處理.但業務資料會被拿去訓練.也有AI提供者提供付費方案,保証資料不外流(相信?). 不管如何, 機密資料是應避免使用這種方式使用AI.

2. 用 API Key 連接大模型
優點: 可程式化操控及運用 AI.
缺點: 基本上都是需要付費使用滿血版, 使用流量大則開銷費用大. 基本上,AI 提供者大都會提供一定額度的試用流量,對學生來說,大都可以用一段不短的日子.

3. 本地佈署
優點: 可以不用將機密資料丟到公開的網路上,可以放心的使用AI. 例如: 公司的 R&D 部門就可以自建一套 AI 來安全使用. 可運行邊緣運算(在各種設備加載AI的功能) 可訓練專業的特化 AI.
缺點: 需要投資設備和管理,需要的經費和同時使用的連線數和模型大小有關. 一般而言,個人用使用 32 b 模就很好用了(最好至少用7 b或8 b),而能使用70 b差不多就是當前的極限了. 然而,隨著時間的過去,個人運行AI的設備方案也會變多. 當前運行較大模型的電腦選項偏向使用Mac或AMD的共享記憶體會比較便宜,而使用nVidia顯卡的方案偏貴但運行連度較快.
可參考:本地部署AI小模型真的没有意義？... https://www.youtube.com/watch?v=Jxa8a0XByAE

4. 2+3 混合應用 ... (例如:AI 工作流 - dify)

由於可本地佈署的AI 大模型有限, 只能使用開源的大模型, 例如: llema, deepseek, owen, ... 但也顯得這些開源模型的珍貴. 能好好的使用,用對了,不管模型大小都有其用處.每一個特化的小模型是好東西,可以針對特定的問題提供解決方案.

註: 在大陸已看到AI整機的適合中小型企業的AI方案(使用 nVidia 顯卡),只需插入連網就可以使用AI開源大模型.
註: 當前 (2025/4) ASUS 已有筆電使用 AMD的AI CPU + 128 G RAM, 可運行 32 b或 70 b 模型, 價格約 85,000 新台幣. framework 有提供 mini PC的組裝方案, 128G 方案也是約 85,000 左右.
註: 假如使用 AI 以後, 發現你(自已)變笨了, 那麼肯定是使用的方法不對. 千萬不要把決策交給 AI 來做,而是 AI 是你的幕僚/助手,永遠自已當主人.

統計資料: 發表於 由 dtchang — 2025-04-03, 09:36

---