Nutanix 통합 스토리지(NUS)를 통한 생성형 AI 여정 가속화

인공 지능(AI)과 머신 러닝(ML)은 개인화된 추천부터 예측 분석에 이르기까지 모든 것을 지원하는 현대 기술의 필수 요소로 자리 잡았습니다. 생성형 AI(Gen AI)는 AI/ML을 전례 없는 수준으로 끌어올립니다. 생성형 AI는 단순히 '기존' 콘텐츠를 찾아 분류하는 대신 '새로운' 콘텐츠를 생성하여 다양한 산업 분야에서 가능성을 열어줍니다. 최근 CIO 설문조사에 따르면 응답자의 70%가 AI/ML이 IT 부서를 넘어 디지털 전송을 빠르게 대중화할 수 있는 획기적인 기술이라고 답했습니다¹.

AI/ML 라이프 사이클 이해하기: 원시 데이터(Raw Data)에서 인텔리전트 모델로

AI/ML의 핵심은 데이터입니다. 데이터가 원시 상태에서 지능형 AI/ML 모델에 이르는 여정을 AI/ML 라이프 사이클로 정의할 수 있습니다. 이 라이프사이클은 크게 다음 단계로 구성됩니다:

1. 데이터 수집: 이 단계에서는 레코더, 센서, 데이터베이스, 로그 등 다양한 소스에서 원시 데이터를 수집합니다. 이 데이터는 데이터가 생성되는 엣지에서 수집되는 경우가 많습니다. 따라서 엣지에 '적절한 크기'의 안전한 솔루션을 배포하고, 여러 엣지 위치를 관리하며, 수집되는 데이터에 대한 안전한 액세스 및 가시성을 제공하는 데 어려움이 있습니다.  
   
2. 데이터 처리: 다양한 엣지 위치의 원시 데이터는 모델 생성 또는 사용자 지정을 위해 준비해야 하는 코어 데이터센터에 집계됩니다. 이 단계의 과제에는 여러 홉 없이 데이터를 안전하고 효율적으로 통합하고 모든 원시 데이터를 저장하기 위한 고집적, 확장 가능한 스토리지 솔루션을 구현하는 것이 포함됩니다. 
   
3. 모델 사용자 지정: 처리 후에는 데이터를 학습하고 반복하여 맞춤형 AI/ML 모델을 개발해야 합니다. 학습에는 종종 상당한 컴퓨팅 리소스와 GPU 가속이 필요하며, 이는 퍼블릭 클라우드에서 수행하는 것이 가장 이상적입니다. 대부분의 경우, 사용자는 기성품으로 학습된 모델을 가져와 사용 사례별 데이터로 튜닝하기만 하면 됩니다. 어떤 접근 방식을 취하든 이 단계의 과제에는 GPU 서버를 통한 대량 데이터의 빠른 읽기 지원, 퍼블릭 클라우드로의 데이터 전송 간소화, 온프레미스와 클라우드 환경 간의 스토리지 유연성 확보가 포함됩니다.
   
4. 추론: 실시간 추론을 위해 학습된 모델을 구현하고 운영하는 작업은 엣지 또는 데이터센터에서 수행할 수 있습니다. 검색 증강 생성(RAG)과 같은 세대별 AI 모델의 경우, 결과를 개선하려면 추가적인 컨텍스트 데이터를 통합해야 할 수 있습니다. 이 단계의 과제에는 실시간 추론을 위해 제한된 GPU 리소스와 스토리지로 AI 모델과 컨텍스트 데이터를 안전하게 배포하고, 모델과 데이터를 지속적으로 업데이트하며, 지속적인 모델 개선을 위해 로그 데이터를 수집하는 것이 포함됩니다. 
   
5. 데이터 아카이빙: 마지막으로, 원시 데이터와 처리된 데이터는 향후 분석 및 규정 준수를 위해 아카이빙이 필요합니다. 온프레미스 아카이빙을 선택하는 경우, 비용 효율적인 오브젝트 스토리지 솔루션이 필요합니다. 또는 퍼블릭 클라우드에 아카이빙하는 경우, 대량의 데이터를 온프레미스 데이터센터에서 AWS Glacier와 같은 퍼블릭 클라우드 오브젝트 스토리지로 안전하고 효율적으로 전환해야 합니다.

Nutanix 통합 스토리지: 전체 AI/ML 라이프사이클을 위한 데이터 서비스  

대부분의 AI/ML용 고성능 스토리지 솔루션은 AI/ML 라이프 사이클의 특정 단계에 맞게 설계되어 사용자가 여러 개의 스토리지 솔루션을 배포하고 관리해야 합니다. 이로 인해 서로 다른 스토리지 솔루션을 관리하고, 여러 홉으로 데이터를 이동하기 위해 타사 도구를 사용하며, 데이터가 AI/ML 수명 주기를 거치면서 가시성이 부족해지는 등 위험, 복잡성, 비효율성이 발생합니다.   

Nutanix 통합 스토리지(NUS) 솔루션은 다음과 같은 방식으로 AI/ML 라이프사이클의 모든 단계에서 AI/ML 워크로드를 처리할 수 있는 독보적인 입지를 확보하고 있습니다:

• 동적 확장성: NUS는 소규모 엣지 배포부터 데이터센터 또는 퍼블릭 클라우드의 하이퍼스케일 인프라에 이르기까지 용량과 성능의 탁월한 선형 확장성을 제공합니다. 글로벌 네임스페이스가 포함된 NUS는 최소 1TB부터 시작하여 수백 PB까지 확장할 수 있습니다. 고용량 30TB SSD에서 업계 최고의 순차 쓰기 속도를 제공하는 마이크론 테크놀로지의 6500 ION 플랫폼이 추가되면 단일 NUS 노드는 550TB 이상의 전체 NVMe 용량을 자랑하며, 경쟁사의 고용량 NVMe SSD보다 20% 적은 전력을 사용하면서 QLC의 비용 및 밀도 이점과 TLC의 성능 및 내구성 특성을 결합할 수 있게 됩니다.

• 배포 유연성: NUS는 소프트웨어 정의 파일, 오브젝트, 블록 스토리지 서비스를 제공하며, 하이퍼컨버지드 인프라(HCI) 또는 전용 고성능 고밀도 스토리지로 배포할 수 있는 유연성을 제공하여 다양한 AI/ML 요구사항에 맞게 조정할 수 있습니다. AI/ML 라이프사이클의 단계에 따라 엣지, 데이터센터 또는 퍼블릭 클라우드에 NUS를 배포할 수 있습니다.
  
• 글로벌 데이터 관리: Nutanix 통합 스토리지(NUS)는 단일 글로벌 네임스페이스를 통해 여러 클러스터를 원활하게 관리할 수 있으므로 데이터 관리를 간소화하고 팀 간 협업을 촉진할 수 있습니다. 데이터 사이언티스트는 데이터의 위치에 관계없이 데이터에 대한 통합된 보기를 활용할 수 있으며, 세분화된 IAM 기반 액세스 제어로 안전한 데이터 액세스를 보장합니다. 마찬가지로 IT 관리 관점에서는 다양한 위치 및 AI/ML 라이프사이클 단계에 있는 Nutanix 클러스터를 Nutanix Central SaaS 기반 글로벌 관리 포털을 통해 중앙에서 관리할 수 있습니다. 
  
• 포괄적인 데이터 보안 및 인사이트: 데이터가 AI/ML 라이프사이클 전반에 걸쳐 여러 위치를 이동함에 따라 보안, 개인 정보 보호 및 거버넌스는 가장 중요한 관심사입니다. Nutanix Data Lens 사이버 스토리지 솔루션은 사전 예방적 랜섬웨어 방어, 감사 및 데이터 인사이트를 통해 통합 사이버 복원력을 제공하여 모든 단계에서 강력한 데이터 보안 및 거버넌스를 보장합니다. SaaS 기반 솔루션인 Nutanix Data Lens는 다양한 AI/ML 라이프 사이클 단계에서 여러 위치에 걸쳐 데이터를 볼 수 있는 통합 글로벌 포털을 제공합니다.
• 선형적 성능 확장: 높은 처리량과 선형적 성능 확장을 통해 더 빠른 데이터 처리, GPU 활용도 최적화 및 AI/ML 워크플로우 가속화를 실현할 수 있습니다. Nutanix NUS(Nutanix 통합 스토리지)를 사용하면 단일 노드에서 최대 10GB/s의 순차 읽기 처리량을 지원할 수 있으며, 이는 100GbE 네트워크 포트의 회선 속도에 근접하는 수준입니다. 예를 들어, 30노드 클러스터는 최대 300GB/s의 누적 순차 읽기 처리량까지 선형적으로 확장할 수 있습니다.   
  
• 엣지-클라우드 데이터 이동성: AI/ML 라이프사이클에는 엣지 위치, 데이터센터, 퍼블릭 클라우드 간의 데이터 이동이 포함됩니다. NUS에 내장된 N:1 파일 및 오브젝트 복제 기능은 여러 엣지 위치에서 중앙 위치로 데이터를 원활하게 통합할 수 있도록 지원합니다. 마찬가지로 내장된 클라우드 데이터 복제를 활용하여 모델 학습 또는 데이터 아카이빙을 위해 AWS S3 또는 Nutanix 클라우드 클러스터(NC2) 플랫폼과 같은 퍼블릭 클라우드로 데이터를 원활하게 이동할 수 있습니다.    

GPT-in-a-Box: 턴키 생성형 AI 솔루션

생성형 AI 및 AI/ML 워크로드를 위한 인프라 구축을 간소화하기 위해 효율적인 추론 및 모델 튜닝을 위해 GPU 기반 컴퓨팅, 오피니언 AI 소프트웨어 스택, 쿠버네티스 및 Nutanix 통합 스토리지(NUS)를 결합한 Nutanix GPT-in-a-Box 턴키 솔루션을 도입했습니다. GPU 가속화는 실시간 추론 및 처리를 용이하게 하며, 스토리지는 AI/ML 모델과 재생 증강 생성(RAG) 모델에 사용되는 것과 같은 추가 컨텍스트 데이터를 호스팅할 수 있습니다. 또한 NUS의 내장된 복제 기능을 활용해 데이터 모델과 컨텍스트 데이터를 배포하고 업데이트할 수 있습니다.

AI/ML을 위한 Nutanix 통합 스토리지: 통합 환경 제공

결론적으로, Nutanix 통합 스토리지(NUS)는 생성형 AI 및 AI/ML 여정을 시작하는 조직을 위한 혁신적인 솔루션입니다. 확장성, 유연성, 단순성, 성능, 데이터 이동성 및 보안 기능을 통해 AI/ML 라이프사이클의 모든 단계에 적합한 독보적인 솔루션입니다.  

전체 AI/ML 라이프사이클을 위한 단일 플랫폼을 제공하고 AI/ML 운영에 내재된 과제를 해결함으로써 NUS는 조직이 생성형 AI 및 AI/ML 여정을 가속화하고 혁신하며 성공할 수 있도록 지원합니다.

Nutanix와 Micron이 어떻게 협력하여 고용량 스토리지 혁신을 실현하고 있는지 알아보세요 - 블로그 읽기

Nutanix 통합 스토리지에 대해 자세히 알아보기

• 10 Key Success Factors for Software-Defined Storage with Modern Data Services Platforms - Access PeerSpot Report
• Business Value of Nutanix Unified Storage - White Paper
• The Use of Object Storage for Modern Data-Intensive Workloads Requiring High Performance: Access the white paper.
• Get Data Lens for Free: Build a Fortress with Data Lens for Free!

¹Gartner-Survey-of-Over-2400-CIOs. 비즈니스 인사이더. https://www.businesswire.com/news/home/20231017475990/en/Gartner-Survey-of-Over-2400-CIOs-Reveals-That-45-of-CIOs-are-Driving-a-Shift-to-Co-Ownership-of-Digital-Leadership/