隆重推出 Nutanix Enterprise AI：在任何地方輕鬆部署 LLM 並確保端點安全
作者：Mike Barmonde，AI 產品行銷經理
GenAI（生成式 AI）無所不在，這完全具有充分的理由。它正透過釋放大量生產力、加強客戶體驗及提升安全性，重新定義企業的商業模式。若不採用 GenAI，企業將有落後於強調創新市場的風險。在組織規畫其 GenAI 策略之際，仍有關鍵挑戰待解決：基礎架構與人員是否已準備就緒，能夠部署、維運並監控 GenAI？
對於使用 Nutanix 的企業，答案仍是響亮的「是！」。
隆重推出 Nutanix Enterprise AI
我們很高興宣布最新產品：Nutanix Enterprise AI，現已全面上市。
如同在 .NEXT 2024 的 GPT-in-a-Box 2.0 公告中所揭示的，Nutanix Enterprise AI 提供了一種簡單的方法，來部署你所選擇的來自頂尖供應商的 LLM（大型語言模型），並能建立及管理安全的 API，以連接你的 GenAI 應用程式。
Nutanix Enterprise AI 現已成為 Nutanix GPT-in-a-Box 2.0 解決方案（搭配 Nutanix Kubernetes 平台）的重要一環。
GPT-in-a-Box 2.0 解決方案為你的私有雲——不論在邊緣或地端——提供一個統包式企業級 AI 堆疊，具備高彈性與高安全性。Nutanix Enterprise AI 能加速 GPT-in-a-Box 所採用之 LLM 的第二日（Day-2）營運工作，或在你的任一 Kubernetes® 環境中（甚至於公有雲上）運行。
Nutanix GPT-in-a-Box 2.0 適用於邊緣或地端/私有雲的企業級 AI；Nutanix Enterprise AI 也可在公有雲的受管 Kubernetes 環境中運行；通過 NVIDIA-Certified Systems 與 NVIDIA 加速運算相容認證。
主要優勢包括：
- 將 IT 資源轉化為 AI 資源：透過簡單的工作流程與測試功能，即使是剛開始支援 GenAI 應用程式的 IT 人員也能快速上手。
- 簡化 LLM 部署和操作：透過簡潔的使用者介面，輕鬆部署、營運並監控 LLM 與安全端點，並可透過點選操作來設定以角色為基礎的存取控制。
- 針對 NVIDIA AI 進行最佳化和驗證：Nutanix Enterprise AI 能在 AWS、Azure、Google Cloud 的 NVIDIA 加速實例上執行，並已通過 NVIDIA AI 企業軟體認證。這包括適用於熱門基礎模型的 NVIDIA NIM 推論微服務。NVIDIA AI 為典型生成式 AI 用例提供參考工作流程，也能搭配 GPT-in-a-Box 使用，擴大可支援的用例範疇。
- 為企業 AI 提供多元選擇：Nutanix Enterprise AI 可部署在 CNCF 認證的 Kubernetes 平台上（包括 Nutanix Kubernetes 平台）。在產品內部整合後，能透過 NVIDIA NIM™、Hugging Face 或自有的自訂 LLM，輕鬆導入所列出的 LLM。
Nutanix Enterprise AI 善用你的 IT 資源來支援 AI，簡化部署流程，並提供多元化的 AI 選擇。
但是，還不僅如此而已。
Nutanix Enterprise AI 擁抱公有雲
Nutanix 擁抱公有雲，並將其作為企業在選擇安全位置運行模型與資料的首選落點。Nutanix Enterprise AI 完全相容於 AWS、Microsoft Azure、Google Cloud 上的 NVIDIA 加速運算環境，同時也可在任一支援 Kubernetes 的公有雲上運行。
我們也很高興宣布，Nutanix Enterprise AI 現已在另一個公有雲平台——Google Cloud——上提供。在上線後，Nutanix Enterprise AI 將能在 GKE（Google Kubernetes Engine）上執行，為 Nutanix 平台提供新功能。這些新可能性可讓你隨心所欲地在各處運行 GenAI。
許多客戶將公有雲視為 GenAI 活動的開發與測試平台。Nutanix Enterprise AI 能簡化企業部署與開發 AI 模型的方式，使得在公有雲 VPC 中測試模型與 GenAI 應用程式更加迅速且有效率。
Nutanix Enterprise AI 可部署在包括 GKE（Google Kubernetes Engine）、AWS EKS（Amazon Elastic Kubernetes Service）、Azure AKS（Azure Kubernetes Service）等雲端管理的 Kubernetes 服務上，從而簡化公有雲的 GenAI 策略。所有環境皆支援在 NVIDIA 加速運算環境上執行。
公有雲服務無法為公有雲之外的 GenAI 工作負載提供支援。邊緣、地端部署或與外部網路隔絕（air-gapped）的用例必須尋找其他解決方案，但利用 Nutanix Enterprise AI 可在混合多雲環境中提供一致的營運體驗，提升企業 AI 策略的可行性。
NVIDIA NIM 成為前線焦點
Nutanix Enterprise AI 的推出將 NVIDIA NIM 微服務置於安全端點部署的核心位置。但為什麼 NVIDIA NIM 對 Nutanix Enterprise AI 而言如此重要？
NVIDIA NIM 微服務讓在 Nutanix Enterprise AI 上開發與部署 GenAI 應用變得輕鬆簡單。
NVIDIA NIM 是 NVIDIA AI 企業的一部分，可為預先訓練及自訂的 AI 模型在雲端、資料中心與工作站之間提供推論微服務。若搭配 Nutanix Enterprise AI 的簡潔介面與安全端點，效果更加顯著：一套完整且快速的 GenAI 推論解決方案，可從邊緣至公有雲間任意部署。
選擇納入 NVIDIA NIM 能輕鬆實現 AI 應用程式、開發框架與工作流程的安全整合，包括為 GPU 執行的 AI 模型推論進行效能最佳化。NIM 可在任何地方運行——從本地端部署到雲端——並可與 Nutanix Enterprise AI 在 Nutanix GPT-in-a-Box、AWS、Google、Azure 上搭配部署。除了能在混合式基礎架構中實現工作流程的可攜性外，NIM 持續最佳化模型運行時間，以確保在高效率的 Nutanix 超融合基礎架構上達成低延遲與高吞吐量，並降低營運成本。
Nutanix Enterprise AI 如何運作？
Nutanix Enterprise AI 操作簡單，可概述為四個步驟：
Nutanix Enterprise AI 讓你在 4 個簡易步驟中部署、管理與監控 AI 模型（LLM）及安全端點
1. 選擇具備 Kubernetes 的環境並部署 Nutanix Enterprise AI 。
Nutanix Kubernetes 平台與 Nutanix Enterprise AI 有開箱即用的整合，但你也可在其他 Kubernetes 環境（如 Google Cloud GKE、AWS EKS、Microsoft Azure AKS）上手動部署。Kubernetes 能善用目前所需的 GPU 進行部署。
請注意：在 Nutanix Enterprise AI 的「Infrastructure Summary（基礎架構摘要）」中，管理者可監控 Kubernetes 叢集狀態及關鍵統計資訊（如 GPU 使用率）。Nutanix Enterprise AI 也可在離線（dark site）或空中隔離（air-gapped）環境中運行，以因應需要無網路連結的安全 LLMOps。
Nutanix Enterprise AI 為管理者提供監控和稽核能力，涵蓋 Kubernetes 基礎架構、GPU 使用情形、主要 GenAI 端點等關鍵項目。
2. 部署完成後，建立管理員登入並選擇要匯入的 LLM。
非管理員使用者也可透過 RBAC（以角色為基礎的存取控制）部署模型及建立 API 端點。Nutanix 企業 AI 與 NVIDIA NIM（使用 NVIDIA NGC 目錄）及 Hugging Face 可進行整合。你也可選擇上傳自訂模型，模型精靈（Model Wizard）將引導你完成模型存放流程。
請注意：NVIDIA NIM 和 Hugging Face 需要在各自平台上建立 API 金鑰，Nutanix Enterprise AI 將這些 API 金鑰與下載的模型安全儲存於內部。
使用 Nutanix Enterprise AI，你可部署自己選擇的 AI 模型（LLM），包括 Nutanix 已驗證的 Hugging Face 或 NVIDIA NGC（隸屬於 NVIDIA NIM）模型，或匯入自訂模型。
3. 當模型為「啟用」狀態時，可使用端點精靈（Endpoint Wizard）為該模型/使用者建立安全的端點 API。
從端點命名到將模型綁定至指定使用者，一切都得到簡化。建立 API 也屬於流程的一部分，只需幾下點擊便可完成。一旦 API 金鑰可以使用後，你便能使用喜愛的密鑰管理工具來儲存/分享此金鑰。
請注意：在建立 API 時，系統會提供一次性顯示的 API 金鑰，出於安全因素，一旦視窗關閉就無法再次取得該金鑰。透過為個別使用者建立帳戶，能讓每位使用者分散存取 Nutanix 企業 AI，他們還能部署並管理與其相關的模型與 API。管理者可視需要輕鬆撤銷並停用使用者的金鑰與模型。
建立新使用者時，你可以在「管理員」和「一般使用者」之間進行選擇，一般使用者只能存取自己的模型和端點，而管理員則可存取所有使用者的全部模型與端點。
4. 最後，透過新建立的 API 使用查詢來測試已部署的模型，並將經過驗證的 API 交給應用程式擁有者或開發者。
想像一下這就像使用一般的生成式 AI 服務：你提出問題，系統向 AI 模型查詢，然後獲得生成的回應。此驗證程序可確保端點 API 功能正常且模型運作無誤。此後可將 API 金鑰提供給開發者或 GenAI 應用程式的負責人，以便他們存取 AI 模型（LLM）。
請注意：如果需要對模型或 API 端點進行變更（例如申請新模型或撤銷 API），則必須將兩者更新或移除並重新為應用程式建立（即該 API 金鑰也須重新產生）。這個過程只需數分鐘，並可在維護時段內輕鬆完成。
可在 Nutanix Enterprise AI 中使用簡單的範例查詢來快速測試已部署的模型與端點，如在此處所示的 NVIDIA NIM 範例。
就是這麼簡單！
在 Nutanix Enterprise AI 的協助下，部署 LLM 與安全 API 僅需幾次點擊，無需學習新指令或翻閱複雜的功能設定。隨著企業 AI 日漸普及，IT 資源可透過 Nutanix Enterprise AI 快速轉化為 AI 資源。
Nutanix Enterprise AI 使 GenAI 部署更加簡單——立即開始
隨著企業 AI 持續融入企業技術堆疊，讓 IT 資源成為 AI 資源、簡化 AI 第二日維運（LLM 維運），並具備因應未來更多 GenAI 新發展的彈性，不只是想要，而是必要。Nutanix GPT-in-a-Box 2.0 結合 Nutanix Enterprise AI，作為一個經過驗證的堆疊，能提供精簡的維運、基礎架構與服務，幫助你從今天就開始部署企業 AI。
那麼，下一步該怎麼做？
- 請前往 https://www.nutanix.com/products/nutanix-enterprise-ai 瞭解更多並進行簡單的點擊式示範操作
- 想要更多實際操作嗎？請前往 nutanix.com/testdrive，以自己的節奏親身體驗 Nutanix Enterprise AI
- 進一步瞭解在 Nutanix GPT-in-a-Box 2.0 上開始導入企業 AI 的更多資訊
關於 Nutanix
Nutanix 是全球雲端軟體領導廠商，為組織提供可在多雲環境中運行應用程式與資料的單一平台。藉由 Nutanix，組織能減少複雜性並簡化營運，從而專注於業務成果。Nutanix 憑藉其作為 HCI 先驅的地位，深受全球企業的信賴，能夠為混合多雲端環境提供一致、簡單且具成本效益的支援。歡迎前往 www.nutanix.com 瞭解更多，或在社群媒體追蹤 @nutanix。
© 2024 Nutanix, Inc.保留所有權利。Nutanix、Nutanix 標誌和本文件所提及的所有 Nutanix 產品和服務名稱，均屬於 Nutanix 公司（「Nutanix」）在美國和其他國家的註冊商標或未註冊商標。Kubernetes® 是 Linux 基金會的註冊商標。此處提及的所有其他品牌名稱或標誌均僅供識別參考，並且可能為其各自擁有者所屬商標。本部落格僅供參考目的，本文並不構成 Nutanix 的保證或其他約束力承諾。本文可能包含明示和暗示的前瞻性陳述，包括但不限於關於我們與正在開發的新產品功能和技術有關的計畫和期望的陳述，此類產品功能和技術的功能，以及我們未來發布產品功能和技術的計畫。這些陳述並非歷史事實，而是基於我們當前的預期、估計和信念而產生。這些陳述的準確性涉及風險和不確定性，並取決於未來的事件，包括那些我們可能無法控制的事件，而實際結果可能與該等陳述所預期或暗示的內容存在重大或相反的差異。本文中的任何前瞻性陳述僅代表本文稿當日日期的觀點，除法律規定外，我們不承擔更新或以其他方式修改此類前瞻性陳述，以反映後續事件或情況的義務。任何未來的產品或產品功能資訊皆旨於概述一般產品說明，並非 Nutanix 提供任何功能的承諾、承諾或法律義務。不應將此資訊用於進行採購決策。我們連結到或引用外部站點的決定不應被視為對此類站點上任何內容的背書。本文中包含的某些資訊可能涉及或基於從第三方來源獲得的研究、出版品、調查和其他資料，以及我們自己內部的估計和研究。雖然我們認為這些第三方研究、出版品、調查和其他資料在本文發布之日具可靠性，但它們尚未經過獨立核實，我們對從第三方獲得的任何資訊的充分性、公平性、準確性或完整性無從代表或保證。