ブログ

Nutanixユニファイドストレージで生成AIの導入を加速

著者:
Kaushik Ghosh, Nutanix ユニファイドストレージ プロダクトマネジメントリーダー
Tuhina Goel, Nutanix ユニファイドストレージ プロダクトマーケティングディレクター

May 21, 2024 | min

人工知能(AI)と機械学習(ML)は、パーソナライズされたおすすめ情報から予測分析に至るまで、あらゆるものを強化し、現代のテクノロジーに不可欠な要素となっています。生成AI（Gen AI）は、AI/MLを前例のないレベルにまで高めています。既存のコンテンツを単に見つけて分類するだけではなく、生成AIは新しいコンテンツを生成し、幅広い業界の可能性を解き放ちます。最近のCIOへの調査では、回答者の70％が、AI/MLは革新的技術であり、IT部門の枠を超えデジタル配信を急速に民主化する態勢が整っていると考えています1。

AI/MLのライフサイクルを理解する： 生データからインテリジェント・モデルへ

AI/MLの中核はデータである。未加工の状態からインテリジェントなAI/MLモデルまでのデータの過程は、AI/MLのライフサイクルを構成します。大きく分けて、このライフサイクルは以下の段階から構成されます：

  1. データ収集: この段階では、レコーダー、センサー、データベース、ログなど様々なソースから生データが収集されます。多くの場合、このデータはデータが生成されるエッジで収集されます。このため、「適切なサイズ」で安全なソリューションをエッジに導入すること、複数のエッジロケーションを管理すること、収集されたデータへの安全なアクセスと可視性を提供することが課題となります。  
  2. データ処理: 様々なエッジ・ロケーションからの生データは、コア・データセンターに集約され、モデル作成やカスタマイズの準備が必要です。この段階での課題には、マルチホップすることなくデータを安全かつ効率的に統合すること、すべての生データを保存するための高密度でスケーラブルなストレージ・ソリューションを実装することなどがあげられます。 
  3. モデルのカスタマイズ: データ処理の後、AI/MLモデルを開発するためにデータをトレーニングし、反復する必要があります。トレーニングには多くの場合、大規模な計算リソースとGPUアクセラレーションが必要で、理想的にはパブリック・クラウドで実現されます。ほとんどの場合、ユーザーは既製の学習済みモデルを入手し、ユースケースに特化したデータでチューニングするのみになります。どのようなアプローチを取るにせよ、この段階での課題には、GPUサーバーによるバルク・データの高速かつ低レイテンシーの読み込みのサポート、パブリック・クラウドへのデータ転送の合理化、オンプレミスとクラウド環境間でのストレージの柔軟性の確保などがあります。
  4. 推論:リアルタイム推論のための学習済みモデルの実装と運用は、エッジまたはデータセンターで行うことができます。Retrieval-Augmented Generation (RAG, 検索拡張生成)のような生成AIモデルの場合、結果を向上させるには、追加のコンテキストデータを組み込む必要があります。この段階での課題には、リアルタイム推論のために限られたGPUリソースとストレージでAIモデルとコンテキストデータを安全に展開すること、モデルとデータを更新し続けること、継続的なモデルの改良のためにログデータを収集することなどが含まれます。 
  5. データのアーカイブ: 最後に、生データと処理済みデータは、将来の分析とコンプライアンスのためにアーカイブが必要です。オンプレミスのアーカイブを選択する場合は、コスト効率の高いオブジェクトストレージソリューションが必要です。また、パブリッククラウドでアーカイブする場合は、大量のデータをオンプレミスのデータセンターからAWS Glacierなどのパブリッククラウドのオブジェクトストレージに安全かつ効率的に移行する必要があります。
Data service requirements across the AI/ML lifecycle

Nutanixユニファイドストレージ(NUS)： AI/MLのライフサイクル全体に対応するデータサービス 

AI/ML向けの高性能ストレージソリューションの多くは、AI/MLのライフサイクルの特定の段階向けに設計されているため、ユーザーは複数のストレージソリューションを導入して管理する必要があります。これは、異種のストレージソリューションの管理、マルチホップによるデータ移動のためのサードパーティ製ツールの使用、AI/MLのライフサイクルを通じたデータの進行状況の可視性の欠如に起因するリスク、複雑性、非効率性をもたらします。 

Nutanix ユニファイドストレージ (NUS) ソリューションは、AI/MLのライフサイクルの全段階において、以下のような方法でAI/MLのワークロードに対応します:

  • ダイナミックな拡張性:  NUSは、小規模なエッジ展開からデータセンターやパブリッククラウドのハイパースケールインフラまで、容量とパフォーマンスの比類ないリニアな拡張性を提供します。1TiBからスタートし、グローバルネームスペースを備えたNUSは数百PBまで拡張可能です。大容量30TB SSDで業界をリードするシーケンシャル書き込み速度を実現するマイクロン・テクノロジー社の6500 IONプラットフォームを追加することで、1つのNUSノードは550TBを超えるオールNVMeの容量を誇り、QLCのコストと密度の利点とTLCの性能と耐久性の特性を組み合わせることができます。

Micron 6500 ION SSDは、比類のないエネルギー効率とパフォーマンスでAIソリューションの傑出した存在であり、ストレージ業界に極めて重要な変化をもたらします。Nutanixユニファイドストレージの高度な機能との相乗効果により、AI/MLのライフサイクル全体を通じて多様なストレージ需要を上回ることができ、企業はAI世代の過程を前進させることができます。

Alvaro Toledo
 バイスプレジデント兼ゼネラルマネージャー, データセンターストレージグループ, マイクロン・テクノロジー
  • 展開の柔軟性:  NUSはソフトウェア定義のファイル、オブジェクト、ブロックストレージサービスを提供し、ハイパーコンバージドインフラストラクチャー（HCI）または専用の高性能高密度ストレージとして展開する柔軟性を提供し、AI/MLの多様なニーズに適応します。AI/MLのライフサイクルの段階に応じて、NUSはエッジ、データセンター、パブリッククラウドのいずれにも導入可能です。
  • グローバルなデータ管理: Nutanix ユニファイドストレージ（NUS）は、単一のグローバルネームスペースを通じて複数のクラスタをシームレスに管理できるため、データ管理を合理化し、チーム間のコラボレーションを促進します。きめ細かいIAMベースのアクセス制御により、安全なデータアクセスが保証されます。同様に、IT管理の観点から、AI/MLのライフサイクルのさまざまな場所と段階にあるNutanixクラスタは、SaaSベースのグローバル管理ポータルであるNutanix Centralを通じて一元管理できます。 
  • 包括的なデータ・セキュリティとインサイト: AI/MLのライフサイクル全体を通じてデータが場所を移動するため、セキュリティ、プライバシー、ガバナンスは最も重要な関心事です。Nutanix Data Lensサイバーストレージソリューションは、プロアクティブなランサムウェア防御、監査、データインサイトを通じて統合的なサイバーレジリエンスを提供し、あらゆる段階で堅牢なデータセキュリティとガバナンスを確保します。SaaS ベースのソリューションである Nutanix Data Lens は、AI/ML ライフサイクルのさまざまなステージで複数の場所にまたがるデータを見るための統合されたグローバルポータルを提供します。
  • リニアパフォーマンススケーリング:  高スループットとリニアパフォーマンススケーリングにより、データ処理の高速化、GPU利用の最適化、AI/MLワークフローの高速化を実現します。Nutanix ユニファイドストレージ（NUS）を使用すると、1つのノードで最大10GB/秒のシーケンシャル読み取りスループットをサポートでき、100GbEネットワークポートの回線速度に近づきます。一例として、30ノードのクラスターでは、300GB/秒の集約シーケンシャル読み取りスループットまでリニアに拡張できます。   
  • エッジからクラウドへのデータモビリティ: AI/MLのライフサイクルには、エッジロケーション、データセンター、パブリッククラウド間でのデータ移動が含まれます。NUSに内蔵されたN:1ファイルとオブジェクトのレプリケーションは、複数のエッジロケーションから中央ロケーションへのシームレスなデータ統合を促進します。同様に、組み込みのクラウドデータレプリケーションを活用して、モデルトレーニングやデータアーカイブのために、AWS S3やNutanix Cloud Clusters（NC2）プラットフォームなどのパブリッククラウドにデータをシームレスに移動できます。  

GPT-in-a-Box： ターンキーAIソリューション

生成AIおよびAI/MLワークロードのインフラ導入を合理化するために、GPUベースのコンピューティング、オピニオンAIソフトウェアスタック、Kubernetes®、および効率的な推論とモデルチューニングのためのNutanixユニファイドストレージ（NUS）を組み合わせたNutanix GPT-in-a-Boxターンキーソリューションを発表しました。GPUアクセラレーションはリアルタイムの推論と処理を容易にし、ストレージはAI/MLモデルと、検索拡張生成 / Retrieval-Augmented Generation（RAG）モデルで使用されるような追加のコンテキストデータをホストすることができます。さらに、NUSの内蔵レプリケーションは、データモデルとコンテキストデータの展開と更新に利用できます。

AI/ML向けNutanixユニファイドストレージ： 統一された体験を提供

結論として、Nutanixユニファイドストレージ（NUS）は、生成AIとAI/MLの導入に乗り出す組織にとって変革的なソリューションです。その拡張性、柔軟性、シンプルさ、パフォーマンス、データモビリティ、セキュリティ機能により、AI/MLのライフサイクルのすべての段階に最適です。

AI/MLのライフサイクル全体に単一のプラットフォームを提供し、AI/MLの運用に固有の課題に対処することで、NUSは組織がAI/MLの導入を加速し、革新し、成功させることを支援します。

NutanixとMicronがどのように協業して大容量ストレージのイノベーションを実現しているかはこちらのブログをご覧ください。

Nutanixユニファイドストレージの詳細

1Gartner-Survey-of-Over-2400-CIOs. Business Insider. https://www.businesswire.com/news/home/20231017475990/en/Gartner-Survey-of-Over-2400-CIOs-Reveals-That-45-of-CIOs-are-Driving-a-Shift-to-Co-Ownership-of-Digital-Leadership/

Take Nutanix for a Test Drive