[AWS] AWS Snow Family

https://jeidiiy.notion.site/AWS-Snow-Family-53fa53c037784c08abf6e0bcc886afbe?pvs=4 

AWS Snow Family

💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다.

1. Snow Family란?

• 보안성이 뛰어난 휴대용 장치 모음

사용 사례

1. AWS 안팎으로 데이터 마이그레이션
2. 엣지 컴퓨팅

종류

• Snowcone
  • 데이터 마이그레이션, 엣지 컴퓨팅
• Snowball Edge
  • 데이터 마이그레이션, 엣지 컴퓨팅
• Snowmobile
  • 데이터 마이그레이션

사용하는 이유

• 대용량의 데이터를 네트워크로 전송하려면 많은 시간 소요
  • 100TB를 전송하는 경우 초당 1GB의 네트워크 회선 사용 시 전송 완료에 12일 소요
• 이로 인해 문제 발생
  • 적은 전송 가능한 데이터 양
  • 제한된 연결 및 대역폭 문제
  • 네트워크를 통한 데이터 전송 비용
  • 대역폭 공유 문제
  • 연결 안정성
• AWS Snow 제품군은 오프라인 장치로 데이터 마이그레이션 수행

💡 일반적으로 데이터 전송 시 1주일 이상이 소요된다면 Snow 제품군을 사용하는 것이 권장된다.

원리

1. Snowball 사용 시 AWS로부터 우편으로 Snowball 수령
2. 로컬에서 데이터를 장치로 이동
3. Snowball 장치를 다시 AWS로 배송
4. AWS 측에서 장치를 가져다 자체 인프라에 연결 후 데이터 업로드/다운로드 수행

2. Snowball Edge (데이터 전송)

• TB 또는 PB 크기의 데이터를 AWS 안팎으로 전송 가능한 장치
• 데이터 전송 건마다 비용 청구
• 블록 스토리지 또는 Amazon S3 호환 객체 스토리지 제공
• Snowball Edge Storage Optimized
  • 80 TB의 HDD 용량 제공
• Snowball Edge Compute Optimized
  • 42 TB의 HDD 용량 제공

사용 사례

• 데이터 센터 폐쇄 후 대용량 데이터 클라우드 마이그레이션
• 재해 복구

3. Snowcone

• Snowball 보다 작은 컴퓨팅 가능한 휴대용 장치
• 사막 또는 물 속에서도 사용 가능 - 안정성 높음
• 가벼움 - 2.1 kg
• 8 TB 스토리지 제공
• Snowball 을 사용할 수 없는 공간 제약적인 환경일 때 사용 가능
• AWS 오프라인 또는 네트워크에 연결하여 AWS DataSync를 사용해 데이터 재전송 가능

⚠️ 배터리와 케이블은 직접 준비해야 한다.

사용 사례

• 네트워크 연결이 없는 환경에서 데이터를 수집하고 Snowcone을 데이터 센터에 연결하여 자동으로 AWS에 전송 또는 오프라인으로 AWS에 전송

4. Snowmobile

• 실제 트럭
• 1 EB 까지 전송 가능
  • 1 EB = 1,000 PB = 1,000,000 TB
• 각 Snowmobile 용량 - 100 PB
  • 즉 1 EB를 전송하려면 10대를 주문해야 함
• 보안성이 뛰어남
• 온도 조절 가능
• GPS 추적 및 연중무휴 비디오 감시
• 10 PB 이상의 데이터 전송 시 Snowball보다 나은 선택

5. 비교

	Snowcone	Snowball Edge Storage optimized	Snowmobile
스토리지 용량	8 TB	80 TB	< 100PB
권장 마이그레이션 크기	24 TB 온라인 및 오프라인	1 PB 오프라인	1 EB 오프라인
DataSync 에이전트	사전 설치됨	-	-
스토리지 클러스터링	-	최대 15개 노드	-

6. 사용 절차

1. 데이터 마이그레이션

1. AWS 콘솔에서 배송을 위해 Snowball 제품 요청
2. 서버에 Snowball 클라이언트 또는 AWS OpsHub 설치
3. Snowball을 서버에 연결 후 클라이언트를 사용해서 파일 복사
4. 장치를 다시 AWS로 배송
5. 데이터 전송 후엔 Snowball 데이터는 완전 삭제

2. 엣지 컴퓨팅

• Snowcone 또는 Snowball 엣지 사용 가능

사용 사례

• 데이터 전처리
• 엣지에서의 머신 러닝
• 미디어스트림 트랜스코딩

Snowcone

• 2 CPUs, 4 GB of RAM, 유/무선 접근 가능
• 코드 또는 추가 배터리를 위한 USB-C 제공

Snowball Edge - Compute Optimized

• 52 vCPUs, 208 GiB of RAM
• GPU 선택 옵션
• 42 TB 스토리지 젝종

Snowball Edge - Storage Optimized

• 최대 40 vCPUs, 80 GiB of RAM
• 객체 스토리지 클러스터링 제공

공통

• EC2 인스턴스나 AWS Lambda 함수 실행 가능 (AWS IoT Greengrass 사용 시)
• 1년 또는 3년 계약 시 가격 할인 제공

7. AWS OpsHub

• 이전에는 Snow 제품군을 사용하려면 반드시 CLI를 사용해야 했으며 방법도 어려웠음
• AWS에서 이를 깨닫고 컴퓨터에 설치하여 GUI에서 사용할 수 있는 서비스 제공
• 컴퓨터를 Snow 장치에 연결하여 쉽게 구성 및 사용 가능

💡 단일 장치와 클러스터 장치를 잠금 해제 및 구성 가능하며 파일 전송이 가능해지고 snow 장치에서 실행되는 EC2 인스턴스를 시작 및 관리할 수 있게 되었다. 또한 장치 메트릭 모니터링과 AWS 호환 서비스(EC2 인스턴스, DataSync, NFS 등) 실행이 가능하다.

8. Snowball into Glacier

• Snowball은 Glacier에 직접 데이터 전송 불가
• 따라서 먼저 S3에 전송하고 S3 수명 주기 정책에 따라 Glacier로 전환되도록 설계 가능