讓私有 AI 像企業平台一樣容易管理
導入私有 AI 的困難，往往不是模型本身，而是模型上線後是否能被穩定管理。
ARX OS 將 GPU 資源、推論 Runtime、模型部署、API Endpoint、API Key、權限控管、使用量監控與系統維運整合為一套 Private AI PaaS。企業可以用圖形化介面管理模型與服務，而不是依賴零散指令、個別工程設定與少數 IT 人員的經驗。
模型不再只是安裝在某台 GPU Server 上，而是成為可管理、可發布、可監控、可治理的企業 AI 服務。
從部署模型，到營運企業級 AI 服務
內建模型中台，簡化模型部署、切換與服務發布
ARX Sovereign AI Private Cloud 內建模型中台，協助企業集中管理不同模型、不同推論 Runtime、不同 GPU 資源與不同應用場景。
企業可以部署開源模型、自有模型、產業模型，或經過微調與蒸餾的專屬模型，並透過統一的 OpenAI-compatible API Endpoint 對內發布。
AI 團隊可以更快進行模型測試、模型替換、應用串接與服務上架；IT 團隊也能透過統一平台進行權限控管、資源監控、使用量追蹤與安全治理。
建立企業自己的主權模型能力
主權 AI 的價值，不只是資料留在私有環境，更重要的是企業能逐步累積自己的模型能力。
透過微調、蒸餾與持續優化，企業可將通用模型轉化為更符合自身需求的私有模型，使模型更理解企業內部語意、產業知識、在地語言、法規文化、組織流程與專業術語。
提升模型回答準確率，降低幻覺與誤判風險，讓 AI 能力成為企業長期可累積、可治理、可控管的核心資產。
兩種交付模式
Dedicated Private Cloud or On-Prem Deployment
Dedicated Private Cloud
專屬私有雲代管
適合需要較大 AI 算力，但不希望自行處理機房空間、電力、散熱、硬體維護與網路環境的企業或機構。
- 專屬 AI 算力環境
- 客戶自主掌握資料、模型、權限與服務存取
- 協助解決電力、機房空間、散熱與硬體維運問題
- 適合大型模型服務、私有模型微調、蒸餾與企業級推論服務
- 可依需求規劃 GPU Server、儲存、網路與安全隔離
On-Prem Deployment
實體設備地端交付
適合對資料主權、內網隔離、法規要求或特殊場域有高度要求的企業與機構。
- 實體設備交付至客戶機房、辦公室或受控環境
- 敏感資料、模型、Log 與知識庫保留於客戶端
- 可部署於內網、專網或 Air-gapped 環境
- 適合企業知識庫、內部 RAG、Agent 平台、文件分析與專屬模型服務
- 可依需求從單機、部門級設備延伸至更高算力架構
適用場景
大型企業私有 AI 平台
政府與研究機構主權 AI 建置
企業內部知識庫、RAG 與 Agent 平台
產業專屬模型微調與蒸餾
高敏感資料與內網 AI 應用
多部門、多專案、多模型服務管理
不能依賴公有雲或資料不能外送的 AI 場景
需要專屬算力但缺乏電力、機房空間或維運人力的企業
型號選擇
Private. Sovereign. Ready to Scale.
| 主權 AI 平台 | GPU 與系統 | 建議場地 | 應用與部署場景 |
|---|---|---|---|
| ARX-200 | RTX PRO 6000 × 2 | Edge Office or Private Cloud Service | 適合部門級私有 AI、企業知識庫、RAG、Agent 應用、文件分析、內部模型服務發布與中小型多使用者場景。 |
| ARX-300 | GB300 AI Station | Edge Office or Private Cloud Service | 適合更高階的企業私有模型部署、進階 RAG、專屬模型服務、較高併發的內部 AI 應用與主權模型導入。 |
| ARX-500 or above | Multi High Performance GPU | Server Room or Private Cloud Service | 適合大型企業、政府機構、研究單位與關鍵產業建置高算力私有 AI 平台，支援多部門、多模型、多專案與大型模型服務。 |
注意：
- 實際系統組態可依部署需求與應用規模進行客製化規劃。
- ARX 系列為高價值且具備客製化配置的 AI 系統。購買前請務必聯繫開端智能，以確認 ARX OS 的功能、規格及與您預期用途的相容性。客製化配置之系統不接受退貨。若產品有瑕疵，仍享有相應的保固與 RMA（不良品退換貨）政策保障。
硬體平台
| 主權 AI 平台 | GPU 與系統 | 建議場地 | 應用與部署場景 |
|---|---|---|---|
| ARX-200 | RTX PRO 6000 × 2 | Edge Office or Private Cloud Service | 適合部門級私有 AI、企業知識庫、RAG、Agent 應用、文件分析、內部模型服務發布與中小型多使用者場景。 |
| ARX-300 | GB300 AI Station | Edge Office or Private Cloud Service | 適合更高階的企業私有模型部署、進階 RAG、專屬模型服務、較高併發的內部 AI 應用與主權模型導入。 |
| ARX-500 or above | Multi High Performance GPU | Server Room or Private Cloud Service | 適合大型企業、政府機構、研究單位與關鍵產業建置高算力私有 AI 平台，支援多部門、多模型、多專案與大型模型服務。 |
注意：
- 實際系統組態可依部署需求與應用規模進行客製化規劃。
- ARX 系列為高價值且具備客製化配置的 AI 系統。購買前請務必聯繫開端智能，以確認 ARX OS 的功能、規格及與您預期用途的相容性。客製化配置之系統不接受退貨。若產品有瑕疵，仍享有相應的保固與 RMA（不良品退換貨）政策保障。
軟體規格
| 系統 | |
| 作業系統 | ARX OS |
| 更新 | 內建 OTA，可更新作業系統與應用程式 |
| 應用程式 | |
| 預載應用程式 | ARGENT、PreciseMD、ScribeSTT |
| 模型管理 | Model Hub，整合 Hugging Face |
平台功能
| 行業專業模型整合 | |
| 1.1 | 透過預載內建金融專業大語言模型，金融從業人員能夠以自然語言即時查詢法規與市場知識、自動摘要冗長的研究報告與合約文件並輔助投研判讀，進而縮短研究工時、降低人工判讀誤差並加速決策產出。 |
| 統整管理 API 端點服務 | |
| 2.1 | 透過將各類模型統一發布為 OpenAI 與 Anthropic 相容的標準 API 端點（Endpoint），開發團隊能夠沿用既有 SDK 與工具直接串接內部系統與應用，進而免除客製整合成本、縮短導入時程，並保留日後在不同模型間無痛切換的彈性，並降低對單一模型供應商的依賴、避免供應商鎖定（vendor lock-in）。 |
| 內建多引擎模型中台 | |
| 3.1 | 透過支援多種推論引擎（Inference Engine / Runtime）、地端部署與 GPU 資源配置的模型中台，使用者能夠在同一平台上靈活部署與調度不同類型的模型，進而免除自建異質推論環境的整合負擔、提升 GPU 使用效率，並降低地端 AI 基礎設施的整體維運成本。 |
| 3.2 | 透過 GPU 共享（GPU Sharing）機制，於單一 GPU 上同時運行多個模型，並支援單一模型多次部署機制，使用者能夠充分利用閒置算力，進而提升 GPU 整體使用效率、降低單位推論成本並減少硬體採購需求。 |
| 3.3 | 透過模型資源預測（Model Resource Prediction），事先估算各模型的 GPU 記憶體用量，使用者能夠在部署前掌握資源需求，進而確保正式環境穩定上線、避免資源不足導致服務中斷，並為容量規劃提供依據。 |
| 3.4 | 透過集中式的 API Key 生命週期管理、RPM（Requests Per Minute）流量控管與使用量統計儀表板，管理者能夠依團隊或應用核發、撤銷並設定有效期限之金鑰，進而防止金鑰濫用與成本失控，確保服務穩定與資源公平分配。 |
| 模型權限控管 | |
| 4.1 | 透過模型層級（Model-level）的細緻權限控管，使用者能夠依部門、角色與應用分別授權可調用的模型實例服務，進而落實最小權限原則、滿足金融業內控與法遵要求，並降低模型誤用與資料越權存取的風險。 |
| 模型使用量儀表板 | |
| 5.1 | 透過依模型統計請求數、Token 用量、回應時間、GPU 使用率、GPU 記憶體使用率與 GPU 記憶體分配，並支援多時間區間（即時 / 日 / 3 日 / 週）檢視的使用量儀表板，使用者能夠清楚掌握各模型的使用趨勢與效能表現，進而支援成本歸屬與容量規劃、及早發現效能劣化，並為模型汰換與資源投資決策提供數據依據。 |
| 專案級別模型隔離 | |
| 6.1 | 透過依部門或專案獨立啟動模型實例（支援一對一或一對多等彈性部署）的隔離機制，使用者能夠為不同團隊配置專屬的模型服務與知識空間，進而落實資料分艙（data segregation）管理、降低跨部門資料混用與外洩風險，並符合金融業資料治理與客戶資料保護規範。 |
| 一鍵模型部署 | |
| 7.1 | 透過一鍵導入金融模型、企業自有模型或核備開源模型（與 Hugging Face 整合，支援直接下載最新開源模型），並自動配置推論引擎與 GPU 資源的部署機制，使用者能夠在數分鐘內完成模型上線，進而大幅縮短導入時程、降低對專業 MLOps 人力的依賴，並加速 AI 應用在金融場景的落地。 |
| 模型生命週期管理 | |
| 8.1 | 透過涵蓋模型上架、版本控管、更新與多版平測的全生命週期模型管理功能，使用者能夠有序管控每一個模型版本，並在必要時手動切換回先前的穩定版本，進而建立可追溯的模型治理(Model Governance)流程、降低版本變更風險，並符合金融監理對模型管理與可稽核性的要求。 |
| 敏感資料留存地端 | |
| 9.1 | 透過將模型、文件、向量資料庫、Log 與金融資料完整保留於內網、自有機房或 Air-gapped 環境的地端架構，使用者能夠在敏感資料不外送雲端，且不依賴公有雲端介接的前提下運行 AI 服務，進而滿足金融業資料落地與個資保護法規、降低資料外洩風險，並確保客戶資料主權完全掌握在機構自身。 |
| 圖形化操作主控台 | |
| 10.1 | 透過瀏覽器即可遠端存取的圖形化操作介面，使用者能夠集中管理模型、API 端點、API Key、App、GPU 資源、系統資源、程序監控、存取日誌、事件日誌、儲存掛載管理等狀態，進而免除繁複的指令列操作、降低維運門檻，並讓非技術背景的管理人員也能在授權範圍內安全地操作平台。 |
| 10.2 | 系統組態設定，透過集中式的管理控制台，提供系統資訊、一般資訊、使用者與群組、網路、安全性、終端機、更新（支援 OTA 模式遠端更新）、重置系統、通知設定與帳號等分類頁面管理，提供管理人員簡易上手與快速查找相關的組態設定，進而降低系統設定的操作門檻與人為設定錯誤，縮短組態調整與交接時間，更可降低跨據點維運成本、加速安全修補與版本更新的落地。 |
| 管理儀表板與系統監控 | |
| 11.1 | 透過即時監控 GPU、VRAM、GPU 溫度、CPU、RAM、網路、儲存空間、磁碟溫度、程序資源使用情形、錯誤與告警的管理儀表板，使用者能夠及早發現資源瓶頸與異常徵兆，進而提前調度資源、降低服務中斷風險，並確保金融業務系統維持高可用性與穩定服務水準。 |
| 11.2 | 提供單一頁面集中呈現系統各項服務（包含名稱、類別、狀態及連接埠），以協助系統管理人員，快速查詢相關應用程式的服務連接埠資訊，進而加速故障排除與問題定位，縮短服務中斷的排查時間。 |
| 安全控管 | |
| 12.1 | 透過黑白名單、自動封鎖嘗試未授權或異常存取登入的 IP 位址與 API 存取控管，並提供 API 文件與系統日誌的安全機制，使用者能夠有效阻擋未授權存取，並完整記錄且可追溯存取行為，進而順利通過金融業資安檢查與供應鏈風險審核，並加速內部稽核與導入核准流程。 |
| 12.2 | 可建立不同使用帳號，帳號可指定不同的角色與權限，區隔系統與應用程式的存取範圍，管理者能夠落實職責分離（Segregation of Duties）與最小權限，進而降低內部越權與誤操作風險，並符合金融業內控與資訊管理合規要求。 |
| 12.3 | 透過系統日誌功能，完整記錄所有系統變更與使用者操作活動，形成可追溯的稽核軌跡（Audit Log），進而支援法規遵循與內外部稽核舉證，並在資安事件發生時提供調查依據。 |
| 12.4 | 透過在 LLM 安全閘道層對進出對話流量即時識別並遮罩敏感資料（含個人可識別資訊 PII 與 API 金鑰、憑證等機敏字串，支援模型回應後還原，且還原對應資訊僅存於地端），使用者能夠不必於各用戶端安裝端點防護軟體即完成集中式內容防護；敏感資料僅於記憶體（in-memory）中處理、不寫入磁碟，處理完成後即釋放；系統日誌僅記錄遮罩或代碼化後之內容，IT 管理人員無法由日誌得見原始個資或敏感資料；服務並以容器化（Docker / Kubernetes）方式隔離部署，進而落實金融業對個資與機敏資料的管控要求、降低敏感資料外洩風險，並以可一鍵安裝之 App 形式提供此模組功能。 |
| 12.5 | 原廠依系統版本提供 SBOM（軟體物料清單）相關佐證文件，揭露軟體組成，以符合相關資訊管理合規要求，進而加速金融機構的供應鏈資安審核與導入核准，降低第三方元件的資安盲點。 |
| 備份與還原 | |
| 13.1 | 透過支援 App、模型與向量資料庫並可跨機器（異機）還原的備份機制，使用者能夠在硬體故障或災難情境下快速重建服務，進而縮短復原時間（RTO）、確保業務持續運作，並符合金融業營運持續與災難復原（BCP / DR）的規範要求。 |
| 多重整合介面 | |
| 14.1 | 透過支援 Agent、MCP、CLI 與 API 等多元整合介面，使用者能夠將平台串接至既有內部系統、知識庫、資料庫與金融工作流程，進而讓機構自身或第三方廠商快速建構自動化應用、擴充平台價值，並保留未來延伸與生態整合的彈性。 |
| 14.2 | 提供特定功能或內建應用程式之 AI Skills，並可整合目前市場主流之代理型程式設計工具（Agentic Coding Tool），提供開發人員介接整合，且無需額外訂閱費用，進而降低開發整合門檻與工具授權成本，加速自動化與 AI 應用開發並優化總體擁有成本（TCO）。 |
| 資料整合與 App 商店 | |
| 15.1 | 透過將既有 NAS 等遠端儲存掛載（Remote Storage Mount）至平台，使用者能夠把靜態檔案轉化為可對話的知識資產，進而讓既有資料立即可用於 GenAI 應用、免除重複搬移與轉檔。 |
| 15.2 | 透過 App 商店（App Market）一鍵安裝生成式 AI 應用，使用者能夠快速部署常用 GenAI 應用，進而降低導入與開發門檻、縮短應用上線時程。 |
| 15.3 | 透過內建 RAG、OCR 與音視訊轉譯等資料前處理工具，使用者能夠將文件、影像與音視訊內容轉為可檢索、可問答的知識，進而提升知識問答的準確度與涵蓋範圍，並加速非結構化資料的活化利用。 |
注意：
- 實際系統組態可依部署需求與應用規模進行客製化規劃。
- ARX 系列為高價值且具備客製化配置的 AI 系統。購買前請務必聯繫開端智能，以確認 ARX OS 的功能、規格及與您預期用途的相容性。客製化配置之系統不接受退貨。若產品有瑕疵，仍享有相應的保固與 RMA（不良品退換貨）政策保障。
深入了解 ARDGE 最新的私有 AI 解決方案：
下載型錄讓私有 AI
進入可營運階段
ARX 主權私有 AI 雲讓企業用 Private PaaS 的方式部署私有 AI。從模型建置、模型切換、API 發布、API Key 管理到權限控管，都能透過no-code 圖形化介面快速完成。
企業不只是部署模型，而是建立一套由自己掌握、適合 IT 管理、能加速 AI 團隊創新的主權 AI 平台。