[AWS] S3

https://jeidiiy.notion.site/S3-27afcfe080f54635af6a3aada6a602c4?pvs=4 

S3

💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다.

S3

• Simple Storage Service

목차

1. S3란?
2. Buckets
3. Objects
4. 보안
5. Static web hosting
6. S3 버전 관리
7. S3 Replication (CRR & SRR)
8. S3 Storage Classes
9. 고급

1. S3란?

• AWS의 주요 구성 요소
• 많은 웹사이트의 중추 역할

사용 사례

• 백업 및 스토리지
• 재해 복구
• 아카이브
• 하이브리드 클라우드 스토리지
• 애플리케이션 호스팅
• 미디어 호스팅
• Data lakes & 빅데이터 분석
• 소프트웨어 배포
• 정적 웹사이트

2. Buckets

• S3는 상위 레벨 디렉토리로 표시되는 버킷에 파일 저장
• S3 버킷의 파일을 객체(Object)라고 하며 이 버킷은 계정 안에 생성
• 버킷의 이름은 전역적으로 유일해야 함
  • 계정에 있는 모든 리전과 AWS에 존재하는 모든 계정에서 유일해야 함
• 리전 수준에서 정의
  • 버킷 이름이 유일해도 버킷 자체는 반드시 특정 리전에 정의됨

💡 S3 서비스는 전역적이지만 버킷은 특정 리전에 제한된다.

네이밍 컨벤션

• 대문자, 언더스코어 금지
• 길이: 3-63자
• IP 금지
• 소문자나 숫자로 시작
• 접두사 제한
  • xn—, -s3alias

3. Objects

• 객체는 키와 값으로 구성

Key

• 파일의 전체 경로
• 접두사와 객체 이름으로 구성
  • s3://mybucket/my_file.txt
  • s3://mybucket/my_folder/my_file.txt
• 디렉토리라는 개념 X

💡 키는 슬래시를 포함하며 접두사와 객체이름으로 구성된 긴 이름이다.

Value

• 본문 내용
  • 파일, 이미지 등 원하는 모든 것
• 최대 크기 - 5TB
  • 파일이 5G 이상이라면 멀티파트 업로드를 이용하여 여러 부분으로 나누어 업로드해야 함

etc

메타데이터

• 객체의 키-값 쌍 리스트

태그

• 유니코드 키-값 쌍
• 최대 10개
• 보안 및 수명 주기에 유용

버전 ID

4. 보안

방법

User-Based

• IAM Policies
  • 어떤 API 호출이 특정 IAM 사용자를 위해 허용되어야 하는지를 판단

Resource-Based

• Bucket Policies
  • S3 콘솔에서 직접 할당할 수 있는 전체 버킷 규칙
• Object Access Control List (ACL)
  • 객체 수준의 ACL
  • 비활성화 가능
• Bucket Access Control List (ACL)
  • 버킷 수준의 ACL
  • 일반적이지 않음
  • 비활성화 가능

Encryption

• 암호화 키를 사용해 S3의 객체를 암호화

💡 S3에 대한 접근할 수 있는 방법은 IAM 권한이 이를 허용하거나 리소스 정책이 이를 허용하는 경우이다. DENY는 없다.

S3 Bucket Policies

• JSON 기반의 정책
  • Resources: 버킷, 객체
  • Effect: Allow / Deny
  • Actions: Allow 또는 Deny하는 API 집합
  • Principal: 정책을 적용할 사용자 또는 계정

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "PublicRead",
            "Effect": "Allow",
            "Principal": "*",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::examplebucket/*"
            ]
        }
    ]
}

5. Static Website Hosting

• S3는 웹 사이트를 호스팅하고 인터넷에서 액세스할 수 있게 만들 수 있음
• URL은 생성하는 리전에 따라 달라짐
  • http://bucket-name.s3-website-aws-region.amazonaws.com

💡 버킷 정책에서 public read를 허용해주어야만 s3 자원에 액세스할 수 있다.

사용 방법

1. S3 > Buckets 에서 버킷 선택
2. Properties에서 맨 아래에 있는 Statis website hosting의 Edit 클릭
3. Static website hosting을 Disable에서 Enable로 전환
4. Hosting type을 Host a static website 로 선택
5. Index document로 작성한 파일 입력 → 해당 파일명으로 버킷에 업로드해야함
6. Save changes 클릭

6. S3 버전 관리

• S3에서 제공하는 자원에 대한 안전한 업데이트 방법
• 버킷에서 version을 활성화함으로써 사용 가능
• 같은 키를 활용하여 버저닝
• 같은 이름의 객체 추가 시 버전 업데이트
• 객체 삭제 시 마커를 활용해 완전 삭제 방지

💡 버전 기능을 활성화하기 전의 파일들은 null이 기본값이다.

사용 방법

1. S3 > Buckets 에서 버킷 선택
2. Properties에서 Bucket Versioning 확인 후 Edit 클릭
3. Bucket Versioning 옵션을 Suspend > Enable로 전환
4. Save changes 클릭

7. S3 Replication (CRR & SRR)

• 반드시 source bucket과 destination bucket이 Versioning을 활성화해야 함
• Cross-Region Replication (CRR): 다른 리전 간 복제
• Same-Region Replication (SRR): 같은 리전 간 복제
• 버킷은 다른 AWS 계정 간에도 사용 가능
• 복제는 비동기식으로 이루어짐
• S3에 대한 올바른 IAM 권한, 즉 읽기 및 쓰기 권한을 S3에 부여햐야 함
• 복제 활성화 후 새로운 객체만 복제 대상이 됨
  • 기존 객체 복제를 원하는 경우 S3 Batch Replication을 사용해야 함
  • 기존 객체 및 복제를 실패한 객체들까지 복제해주는 옵션
• 작업을 삭제하려면 source 버킷에서 destincation 버킷으로 삭제 마커 복제
  • version ID로 삭제하는 경우 version ID는 복제되지 않음
  • 이는 영구적인 삭제로 누군가 악의를 품고 한 버킷에서 다른 버킷으로 ID 삭제 마커를 복제하면 안 되기 때
  • Management에서 삭제 마커 복제 허용 시 삭제 마커 복제는 허용됨
  • 그러나 객체 삭제 시 복제 버킷에서는 삭제되지 않음
• 복제 시 체이닝은 없음
  • 버킷 1을 복제한 버킷 2를 다시 복제하여 버킷 3을 만든다고 하여 1번 버킷의 객체가 3번 버킷으로 복제되지 않음

사용 사례

CRR

• 법규 준수, 지연 시간 단축, 계정 간 복제

SRR

• 다수의 S3 버킷 간 로그 통합, 개발환경과 운영 환경 간의 실시간 복제

8. S3 Storage Classes

• Amazon S3 Standard
• Amazon S3 Infrequent Access
  • Amazon S3 Standard-Infrequent Access
  • Amazon S3 One Zone-Infrequent Access
• Amazon S3 Glacier Storage Classes
  • Amazon S3 Glacier Instant Retrieval
  • Amazon S3 Glacier Flexible Retrieval
  • Amazon S3 Glacier Deep Archive
• Amazon S3 Intelligent Tiering

💡 객체 생성 시 클래스를 선택할 수 있으며 수동 또는 S3 라이프사이클 설정으로도 가능하다.

Durability and Availability

Durability

• 객체가 손실되는 정도
• 멀티 AZ에서 99.999999999%의 높은 내구성
• 10,000,000 개의 객체를 S3에 저장했다면 평균적으로 10,000년에 하나의 객체가 손실될 확률
• 모든 클래스 동일

Availability

• 서비스가 용이하게 제공되는 정도
• 스토리지 클래스에 따라 다름
  • S3 Standard의 경우 99.99%의 가용성 제공 = 1년에 53분은 오류 발생 가능

S3 Standard - General Purpose

• 99.99%의 가용성
• 자주 접근하는 데이터에 사용
• 낮은 지연 시간 및 높은 처리량
• 2개의 기능 장애를 동시에 버틸 수 있음

사용 사례

• 빅데이터 분석
• 모바일 & 게임 애플리케이션
• 컨텐츠 배포

S3 Infrequent Access

• 자주 접근하는 데이터는 아니지만 빠른 접근이 필요로 할 때 사용
• S3 Standard에 비해 낮은 비용

Amazon S3 Standard-Infrequent Access (S3 Standard-IA)

• 99.9%의 가용성
• 사용 사례: 재난 복구, 백업

Amazon S3 One Zone-Infrequent Access (S3 One Zone-IA)

• 한 AZ 내에서 높은 내구성 (99.999999999%) → 손실 위험 존재
• 99.5%의 가용성
• 사용 사례: 온프레미스 데이터의 2차 백업, 재생성 가능한 데이터 저장

Amazon S3 Glacier Storage Classes

• cold storage
• 아카이빙 백업을 위한 저비용 객체 스토리지
  • 스토리지 및 검색 비용

Amazon S3 Glacier Instant Retrieval

• 밀리초 단위로 검색 가능
• 분기별로 접근하는 데이터에 유용
• 최소 보관 기간 - 90일
• 백업이지만 밀리초 이내에 접근해야 하는 경우 유용

Amazon S3 Glacier Flexible Retrieval (formerly Amazon S3 Glacier)

• 티어별 데이터 응답 소요 시간
  • Expedited (1~5분)
  • Standard (3~5시간)
  • Bulk (5~12시간) - 무료
• 최소 보관 기간 - 90일

Amazon S3 Glacier Deep Archive

• 티어별 데이터 응답 소요 시간
  • Standard (12시간)
  • Bulk (48시간)
• 최소 보관 기간 - 180일

Amazon S3 Intelligent Tiering

• 사용 패턴에 따라 액세스된 티어 간 객체 이동을 가능하게 해주는 클래스
• 소액의 월별 모니터링 및 티어링 비용 발생
  • 대신 검색 비용 X
• Frequent Access tier (자동): 기본 티어
• Infrequent Access tier (자동): 30일 동안 액세스하지 않은 객체 전용 티어
• Archive Instant Access tier (자동): 90일 동안 액세스하지 않은 객체 전용 티어
• Archive Access tier (선택): 90일 ~ 700일 이상까지 구성 가능
• Deep Archive Access tier (선택) 180일 ~ 700일 이상까지 구성 가능
• 알아서 객체를 이동시켜주기 때문에 관리 용이