고성능 파일 공유 스토리지

IBM Spectrum Scale (구 GPFS)

기업과 조직에서는 이전보다 더 많은 데이터를 생성하고, 분석하며, 보관하고 있습니다. 빠르게 확장하는 인프라를 관리하면서 더 빠르게 통찰력을 제공할 수 있는 조직이 곧 업계의 리더입니다. 조직의 기본 스토리지에서는 이러한 통찰력을 제공하여 차세대 빅데이터와 기존 애플리케이션 모두를 안전하고 안정적이며 우수한 성능으로 지원해야 합니다. IBM Spectrum Scale은 할당된 아카이브와 분석을 수행하는 탁월한 기능으로 대규모 데이터를 관리하는 고성능 솔루션으로 끊김 없이 원활한 운영 관리를 지원 달성 합니다.

  • 1최고의 확장성
    병목현상 없는 아키텍처 채택으로 스토리지 확장 시에도 최고의 처리량과 짧은 대기 시간 제공이 가능합니다. 이는 네트워크 연결 스토리지(NAS)는 제공할 수 없는 수준입니다
  • 2데이터 인식 인텔리전스
    Spectrum Scale을 통해 스토리지 인프라를 확장하고 공유할 뿐 아니라 자동으로 파일 및 오브젝트 데이터를 최적의 스토리지 계층에 최대한 빨리 이동시킬 수 있습니다.
  • 3글로벌 협업 지원
    데이터-애니웨어(data-anywhere)를 활성화해 스토리지와 데이터 접근 지역을 확장함으로써 데이터 센터 또는 세계 어느 곳에서도 애플리케이션을 보다 빠르게 실행할 수 있습니다.
  • 4데이터 무결성 및 보안
    인증, 암호화, 보안, 이레이저 코딩(erasure coding) 및 복제 옵션을 사용하여 비즈니스 및 규정 요구사항을 준수 합니다.

Spectrum Scale 에디션별 지원 여부

BigData &AI 를 위한 초고성능 저장 및 분석  파일 시스템

  • 등록된 동영상이 없습니다.

    2020 대비를 우한 IBM 스토리지 Data&AI - ESS3000 출시

    m.post.naver.com/redhattt

Spectrum Scale for Hadoop | 하둡 파일시스템 대체

IBM Spectrum Scale을 통한 실시간 데이터 분석과 스토리지 

  • 등록된 동영상이 없습니다.

    IBM Spectrum Scale을 통한 실시간 데이터 분석과 스토리지 비용을 절감

    m.post.naver.com/redhattt

NVIDIA DGX + IBM Storage
Spectrum Scale

IBM Spectrum Storage for AI 에는 NVIDIA DGX 와 ESS3000 성능 어플라이언스에는 Spectrum Scale 내장된 구성으로  함께 제공됨
(Spectrum Scale High Performance Appliance - NvME All Flash) 

Spectrum Scale 데모 구성 동영상

* 자료 출처 : 날았다 고양이 (Youtube) 
* 동영상 제작 노고 와 저작권 보호 차원 링크 주소 기재

  • 12노드 클러스터 구성
       https://www.youtube.com/watch?v=01q2Y7RL8LA&t=710s
  • 2파일시스테 액세스 (마운트)
       https://www.youtube.com/watch?v=_rVngCTalXk
  • 3클러스터 NSD 클라이언트 노드 추가
       https://www.youtube.com/watch?v=ZMTRHA4u4D4&t=6s

Spectrum Scale 
Workload Highlights

  • 1Flexible architecture: many ways to access data in the "data lake" (file, NFS, SMB/CIFS, Object, Hadoop/HDFS, 3rd party "gateways" e.g. ownCloud), and many ways to use new and existing storage
  • 2Useful for almost any type of data: large and small files, small numbers of users and many users, and many workloads including Enterprise certification for SAP, SAS, Oracle, DB2, Sterling, etc.
  • 3Get value by not making many copies of your data: the same copy of data can be accessed by different workloads and users, saving the expense and overhead of creating multiple copies and keeping them in sync
  • 4Scalable performance and capacity: start small and scale up to almost limitless performance, tested to 2 Terabyte/sec, and hundreds of PB, as well as being able to manage billions of files without forcing you to change to Object storage
  • 5Massive performance for manageing Massive numbers of files: think you need Object to handle billions of Data Items? No, we managed billions of items/files a decade ago. But we can also do Object if you need it.
  • 6Industry leading "IOPS" and streaming data performance: extremely low latency to support lots of small IOs, as well as supporting large streaming I/O workloads
  • 7No hardware vendor "lock-in" - Spectrum Scale is software to create an enterprise-class storage system using almost all storage hardware from almost any vendor, standard x86 and POWER servers, and Linux/AIX/Windows- or a combination. Can use external disk (FC, SAN, SAS twin-tailed, Infiniband attached ), or internal disk. Combine as desired with IBM's ESS storage building blocks for Spectrum Scale.
  • 8Automated Tiering of data - transparently moves of files between different physical storage devices (e.g. disk->flash->disk->tape/Cloud/Object), users and applications are not aware of these moves. Tiering can be "preemptive" using a policy, whole file systems or single files based on a SQL-like data management policy
  • 9Highly available clustering - no additional clustering hardware or software to buy, set up, or manage.  Support for "rolling upgrades" while filesystem stays online.
  • 10Cluster can be "stretched" across 2 or 3 sites for "24x7" Highly Available filesystem
  • 11One or many filesystems -  with different tuning options for different workloads, across many different pools of different storage devices.
  • 12Active/Active clustered Analytics/Hadoop, NFS, SMB and Object - allows up to 16 x gateway server nodes per filesystem (most other vendors can only have 1 active sharing node per filesystem)
  • 13Most features are included in the entry product - Data Access Edition (Standard Edition) license includes features which other vendors charge a premium for- tiering, snapshots, clones, mirrors, quotas, scalable "scan engine" for data management, sync and async caching, clustered NFS/SMB/Object gateway function.(Data Management Edition adds encryption, async DR support, tiering to cloud/object, and file auditing)
  • 14Simple licensing of active untiered data only- A simple licensing metric which is based on the amount of disk/flash storage presented to Spectrum Scale. The amount of capacity tiered to a tape/cloud/object tier is not required to be licensed for Spectrum Scale,
  • 15Use any type of network available for your server nodes that supports TCP/IP (also ROCE), and also Infiniband (RDMA), or a combination.
  • 16Intersite asynchronous replication - including asynchronous DR with tunable RPO ("AFM" and "AFM-DR").
  • 17Share Data - Multiple Spectrum Scale clusters can "cross-mount" filesystems to create a global namespace across sites or departments.
  • 18Encryption for data-at-rest  and data-in-flight - NIST/FIPS certified to allow data destruction by simply deleting the key.  This is in the Advanced Edition (additional cost over Standard Edition), and also needs a Key Manager server and software (IBM SKLM).  Encryption can apply to single or multiple files under policy control at time of file creation. Multiple groups can hold keys to overlapping but distinct sets of files.
  • 19Highly available- designed and proven to overcome Single Points of Failure in the cluster, and support rolling upgrades of the software in the cluster nodes.
  • 20Software Defined Storage - Available as "software only" or as software with  pre-configured storage with Elastic Storage Server ("ESS"). ESS can be extended with more ESS units and/or standard x86/POWER servers running Linux/AIX/Windows.
  • 1Works on disk rich "hyperconverged" servers- Spectrum Scale Erasure Coding Edition converts industry standard x86 servers with internal drives, into a reliable and manageable storage pool for Spectrum Scale.
  • 2Proven over 20 years in the field - in use at some of the largest storage sites in the world, certified for "enterprise grade" use including IBM MQ, IBM DB2, SAS, SAP, Oracle etc. Current single filesystem performance tested to 2.5 TBytes a second and 250 PB in a single filesystem. Effectively no practical limits.