카테고리 없음

[AWS Summit] 스마트한 클라우드 스토리지 비용 관리 전략

나른한 노치 2023. 5. 9. 01:25

: 클라우드를 효율적으로 쓰기 위한 방안

폭발적인 데이터의 증가와 도전 과제들

전 세계적으로 101 ZB(제타 바이트)의 데이터가 생성된다. 머신러닝의 데이터 활용으로 인한 데이터의 증가 추세이다.

  • 과제: 다양한 유형의 데이터, 확장성의 한계, 높아지는 비용
  • 위험: 데이터 보호와 연속성 보장이 복잡해짐에 따라 위험 증가
  • 기회: 데이터의 수집 단계에서 가치 창출의 단계로 이동하며 혁신 주도

[워크로드를 위한 AWS 스토리지 서비스]

  • 서비스: 데이터 보호, 데이터 스토리지, 데이터 활용, 데이터 이동

스토리지 비용 최적화 기술

스토리지는 오브젝트와 블록 스토리지가 있다.

  • 오브젝트 스토리지: 비정형 형식(객체)으로 데이터를 저장하고 관리하는 기술.
    • 스토리지 분석
    • 스토리지 클래스
    • 데이터 수명 주기
    • 인텔리전트 티어링
  • 블록 스토리지: 데이터 스토리지와 스토리지 디바이스를 제어하는 기술
    • 워크로드 최적화 볼륨
    • …

스토리지 비용 최적화를 위한 모범 사례

: 스토리지 비용을 최적화 하기 위해서 클라우드 비용을 분석하고 개선을 전담할 수 있는 팀을 구성하여 워크로드를 분석하여 가장 적합한 스토리지 서비스를 선택하여 사용(데이터 유형, 내구성, 성능, 접근 패턴)하였고, 사용된 스토리지 서비스의 비용 최적화 기술들을 활용하여 지속적으로 비용 모니터링, 분석, 개선 작업을 수행하였다.

  • 클라우드 비용 분석 개선 전담 팀 구성
  • 워크로드 분석 후 가장 적합한 스토리지 서비스 선택 사용
  • 비용 최적화 기술들을 활용
  • 지속적인 비용 모니터링, 분석, 개선 작업 수행

오브젝트 스토리지

최적의 데이터 레이크를 위한 아마존 S3(Simple Storage Service)

  • 데이터 레이크(Data lake): 모든 규모의 정형 및 비정형 데이터를 저장할 수 있는 중앙 집중식 리포지토리.

스토리지 클래스

7가지 스토리지 클래스

  • **Amazon S3 Intelligent-Tiering(S3 Intelligent-Tiering) [**알 수 없거나 ****변화하는 액세스 패턴] : 성능에 대한 영향, 검색 요금 또는 운영 부담 없이 액세스 빈도에 따라 가장 비용 효율적인 액세스 티어로 데이터를 자동으로 이동하여 세분화된 객체 수준에서 스토리지 비용을 자동으로 절감해주는 최초의 클라우드 스토리지
  • **Amazon S3 Standard(S3 Standard) [**자주 액세스 하는 데이터] : 자주 액세스하는 데이터를 위해 높은 내구성, 가용성 및 성능을 갖춘 객체 스토리지
  • **Amazon S3 Standard-Infrequent Access(S3 Standard-IA) [**자주 사용하지 않는 데이터] : 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터에 적합
  • **Amazon S3 One Zone-Infrequent Access(S3 One Zone-IA) [**재성성 가능하고 덜 액세스 되는 데이터] : 자주 액세스하지 않지만 필요할 때 빠르게 액세스해야 하는 데이터에 적합
  • **Amazon S3 Glacier Instant Retrieval [**거의 액세스하지 않는 데이터] : 거의 액세스하지 않으면서 밀리초 단위의 검색이 필요한 장기 데이터에 대해 가장 저렴한 비용의 스토리지를 제공하는 아카이브 스토리지 클래스
  • **Amazon S3 Glacier Flexible Retrieval(이전 S3 Glacier) [**아카이브 데이터] : 연간 1~2회 액세스하고 비동기식으로 검색되는 아카이브 데이터에 대해 S3 Glacier Instant Retrieval보다 최대 10% 더 저렴한 비용으로 스토리지
  • **Amazon S3 Glacier Deep Archive [**장기 아카이브 데이터] : Amazon S3에서 가장 저렴한 비용의 스토리지 클래스이며 1년에 한두 번 정도 액세스할 수 있는 데이터의 장기 보관 및 디지털 보존을 지원

액세스 패널에 맞는 전략 선택

  • 알고 있거나 예측 가능한 액세스 패턴의 데이터의 경우 ⇒ S3 데이터 수명 주기에 따라 선택
    • 수명 주기 규칙은 오브젝트의 저장 기간에 기초하여 실행된다.
  • 알 수 없거나 변경이 되는 액세스 패턴의 데이터의 경우 ⇒ S3 Intelligent-Tiering
    • 데이터의 접근 시간을 기반으로 데이터를 자동으로 분석한다. 비용 최적화를 동시에 한다.
    • 아카이브 티어를 활성화하면 높은 비용 절감효과를 가능.

아마존 S3 스토리지 렌즈

: 실행 가능한 권장 사항뿐만 아니라 PIT(Point-In-Time) 지표 및 추세선을 통해 조직 전반에 객체 스토리지에 대한 가시성을 제공하는 최초의 클라우드 스토리지 분석 솔루션

  • 조직 전체의 S3의 정보를 파악할 수 있는 대시 보드 제공(여러개의 스토리지 사용 시 가시성이 좋음)
    • 무료 지표(즉각적인 가시성 확보)
    • 고급 지표(비용 최적화)
    • S3 버킷별 검색을 통해 액세스률을 보고 비용을 낮출 수 있도록 도와준다.
  • 데이터 보호 모범 사례 권장
  • S3 콘솔 환경 통합

블록 스토리지 전략 선택

  • 아마존 EC2 인스턴스에 연결되는 블록 스토리지 서비스(gp3(마존 제너럴), io2, st1,sc1)에 적합한 스토리지를 선택하는게 좋다.
  • AWS Compute 옵티마이저의 아마존 EBS 최적화
    • 볼륨에 대한 권고를 기반으로 개별적으로 분석하지 않고 판단이 가능하다.
  • 아마존 데이터 라이프사이클 매니저(백업 스냅샷 관리)
    • 백업 스냅샷 관리.
    • 스냅샷 아카이브(~75% 절감)

파일 스토리지

: 공유 파일 시스템을 통해 서버와 애플리케이션에 데이터에 대한 액세스를 제공하도록 클라우드에 데이터를 저장하는 방법

  • 파일 워크로드의 광범위한 스펙트럼(IT 관리자 및 앱 소유자, DevOps 및 DS)
  • 세가지 유형에 따른 파일 스토리지 솔루션

EFS (Amazon Elastic File System)

: 서버리스 방식의 완전 탄력적인 파일 스토리지

  • 처음부터 클라우드를 활용하도록 설계한 서버리스, 완전 탄력성
  • 모든 클라우드 컴퓨팅 리소스에서 액세스 가능
  • 스케일: 펜타바이트 용량 확장 및 수천 이상의 클라이언트 접근 가능
  • 수명 주기 관리
    • 스탠다드 클래스(범용 파일 스토리지 클래스 MAZ(멀티 AZ) or 1Z)
    • 인프리퀀트 액세스 클래스(IA)(자주 액세스하지 않는 파일을 위한 클래스)
      • 시간이 지나 클래스를 이동시키는 방법으로 사용
      • 액세스 패턴을 파악하여 유동적으로 사용할 수 있음.
      • IA에서 액세스를 너무 자주 하면 비용이 더 많이 발생한다.
  • EFS 인털레전트 티어링
    • 자주 접근되지 않는 파일을 IA로 자동으로 전환하고 자주 접근하면 스탠다드 클래스로 자동으로 이동.
    • 전환에 대하서는 비용이 발생한다.
  • EFS 자동 비용 최적화
    • 8:2 법칙 (80% IA / 20% EA)을 기준으로 잡기.
    • 액세스 패턴을 통해서 비용을 절감할 수 있다.

FSX

NetApp ONTAP 개요

  • 기존 넷앱 구축을 클라우드로 마이그레이션 하거나 확장하는 가장 쉬운 경로 제공
  • 데이터 관리 기능, 자동 계층화, 데이터 압축 및 중복 제거, 다중 프로토콜 지원 제공
  • 엔터프라이즈 IR 앱, 콘텐트 관리 등

관리형 서비스는 유저가 해야했던 작업들(백업, 패치 등)을 넷앱이 수행한다.

넷앱 ONTAP 데이터 티어링

: 상대적으로 성능이 낮고, 비용은 적게 나오는 것과 성능이 좋고 비용이 더 나오는 것이 있다.

인텔리전트 데이터 티어링 + 중복 제거 & 압축 ⇒ 50~66% 비용 절감(일반적인 파일 시스템의 경우) 전체적으로는 88% 비용 절감.

윈도우 파일 서버 개요

: 윈도우 파일 서버 배포를 기존처럼 사용할 수 있도록 만들어놓은 서비스

SQL 서버 등 윈도우즈 프로그램을 효율적으로 사용 가능.

데이터 중복 제거

: 서브파일 수준에서 작동, 성능 영향을 최소화 하기 위한 사용자 후처리 최적화, 중복된 컨텐츠를 제거하고 공통된 컨텐츠를 압축

  • 포스트 프로세싱을 사용함. ↔ 온탭은 인라인 방식을 사용함
  • 파워셀 CLI를 사용하여 파일 시스템에서 원격관리, 데이터 중복제거 활성/비활성 등함.

데이터 중복 제거를 사용한 효과적인 스토리지 비용

: 범용 파일 컨텐츠의 중복 제거로 인한 공간 절감 효과를 50%로 가정

  • S3의 경우 다양한 스토리지 클래스를 활용하여 수명 주기 관리와 인텔리전트 티어링을 사용하고 스토리지 렌즈로 분석
  • EBS 최적의 볼륨 유형을 사용하고, 스냅샷 아카이브 등..
  • EFS,FSx의 수명주기 관리, 인텔리전트 티어링, 그리고 데이터 용량 절감 기술

'카테고리 없음'의 다른글

  • 현재글[AWS Summit] 스마트한 클라우드 스토리지 비용 관리 전략

티스토리툴바