[AWS] Amazon FSx

https://jeidiiy.notion.site/Amazon-FSx-a589f8b8db2c4b51b1348e79ca0ac316?pvs=4 

Amazon FSx

💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다.

1. Amazon FSx란?

• 서드 파티 파일 시스템을 AWS에서 실행하는 서비스
• RDS에서 MySQL이나 MariaDB를 실행하는 것과 같은 개념
• 완전 관리형 서비스

제공되는 파일 시스템

• FSx for Lustre
• FSx for Windows File Server
• FSx for NetApp ONTAP
• FSx for OpenZFS

2. FSx for Windows (File Server)

• 완전 관리형 Windows 파일 서버 공유 드라이브
• SMB 프로토콜 및 Windows NTFS 지원
• Microsoft Active Directory 통합 지원
  • 사용자 보안 추가 가능
  • ACL로 사용자 할당량을 추가해 접근 제어 가능
• Windows 뿐만 아니라 Linux EC2 인스턴스에도 마운트 가능

💡 온프레미스에 Windows 파일 서버가 있는 경우 Microsoft 분산 파일 시스템인 DFS 기능을 이용하여 파일 시스템을 그룹화할 수 있다. 이렇게 하면 온프레미스의 Widonws 파일 서버와 FSx for Windows File Server를 결합할 수 있다.

성능

• 초당 수십 GB 데이터 처리
• 수백만 IOPS
• 수백 PB 의 데이터까지 확장 가능

스토리지 옵션

• SSD - 지연 시간에 민감한 워크로드 시 선택 (DB, 미디어 전처리, 데이터 분석 등)
• HDD - 워크로드의 넓은 스펙트럼 저장 시 선택 (홈 디렉터리, CMS 등)

접근

• 프라이빗 연결로 온프레미스 인프라에서 접근 가능

가용성

• 다중 AZ 구성 가능 - 고가용성
• 모든 데이터는 재해 복구 목적으로 Amazon S3에 매일 백업

3. FSx for Lustre

• 머신 러닝, 고성능 컴퓨팅(HPC) 시 사용
• 동영상 처리, 금융 모델링 전자 설계 자동화 등의 애플리케이션에서 사용
• 높은 확장성

성능

• 초당 수백 GB 의 데이터 처리
• 수백만 IOPS로 확장
• ms보다 짧은 지연 시간 제공

스토리지 옵션

• SSD - 짧은 지연 시간 및 IOPS가 중요한 워크로드 및 크기가 작은 무작위 파일 작업에 선택
• HDD - 처리량이 많은 워크로드 및 크기가 큰 시퀀스 파일 작업에 사용

S3 통합

• S3와 무결성 통합 가능
• FSx로 S3를 파일 시스템처럼 읽기 가능

접근

• VPN 또는 직접 연결을 통해 온프레미스 서버에서 사용 가능

파일 시스템 배포 옵션

스크래치 파일 시스템

• 임시 스토리지
• 복제 X
• 기저 서버가 오작동하면 파일이 모두 유실
• 최적화로 초과 버스트 사용 가능 (TiB 당 초당 200MBps 제공)
• 영구 파일 시스템보다 6배의 성능 개선 가능
• 단기 데이터 처리, 비용 최적화 시 사용

영구 파일 시스템

• 장기 스토리지
• 동일한 AZ에 데이터 복제
• 기저 서버가 오작동해도 몇 분 내에 해당 파일 대체
• 민감한 데이터의 장기 처리 및 스토리지 필요 시 사용

4. FSx for NetApp ONTAP

• AWS의 관리형 NetApp ONTAP 파일 시스템
• NFS, SMB, iSCSI 프로토콜과 호환 가능
• 온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 이동 가능
• 아주 넓은 호환 가능한 OS
  • Linux, Windows, MacOS
  • AWS의 VMware Cloud, Workspaces, Appstream, EC2, ECS, EKS
• 오토스케일링 제공
• 복제 및 스냅샷 기능 제공
• 낮은 비용, 데이터 압축 및 중복 제거 가능

시간 복제 기능

• 새 워크로드 테스트 시 유용
• 파일 시스템에서 신속한 복제 가능 및 스테이징 파일 시스템 배치 가능

5. FSx for OpenZFS

• AWS의 관리형 OpenZFS 파일 시스템
• 여러 버전에서의 NFS 프로토콜과 호환 가능
• 주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용
• 아주 넓은 호환 가능한 OS
  • Linux, Windows, MacOS
  • AWS의 VMware Cloud, Workspaces, Appstream, EC2, ECS, EKS
• 스냅샷, 압축 지원
• 낮은 비용
• 데이터 중복 제거 기능 X
• 시간 복제 기능 제공

성능

• 백만 IOPS 까지 확장 가능
• 0.5ms 이하의 지연 시간