[AWS] 고급 S3

https://jeidiiy.notion.site/S3-cbd7cd4ac25246e0b6c56561f9e7d2df?pvs=4 

고급 S3

💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다.

고급 S3

목차

1. Lifecycle Rules
2. Requester Pays
3. 이벤트 알림
4. 성능
5. S3 Select & Glacier Select
6. Batch Operations

1. Lifecycle Rules

• 객체는 자신 아래의 모든 수준으로 스토리지 클래스간 이동 가능
• 수동으로 옮길 수도 있으나 수명 주기 규칙을 이용해 자동화 가능

Transition Actions

• 또 다른 스토리지 클래스 간 객체 전환 설정
  • 생성 60일 후 Standard IA로 이동하도록 설정
  • 6개월 후 Glacier에 아카이빙되도록 설정 가능

Expiration Actions

• 만료 작업 설정 가능 - 일정 시간 이후 객체 삭제 또는 만료 설정
  • 1년 이후 접근 로그 파일 삭제
  • 버저닝을 활성화한 경우 이전 버전 파일 삭제
  • 완료되지 않은 멀티파트 업로드 삭제

Rules

• 특정 접두사를 사용하여 전체 버킷 또는 버킷의 일부 경로에만 적용 가능
• 특정 객체 태그에만 지정 가능

Amazon S3 Analytics - 최적 기간 산정

• Standard 및 Standard IA에서 사용 가능
• 버킷에 관한 권장 사항과 통계를 csv 파일로 제공
• 매일 업데이트
• 24시간 ~ 48시간의 데이터 분석 소요

2. Requester Pays

• 일반적으로는 버킷 주인이 S3 스토리지와 클라이언트 요청에 따른 데이터 네트워크 비용을 지불
• Requester Pays를 사용하면 요청한 클라이언트에게 네트워크 비용을 지불하도록 설정 가능
• 다른 계정 간 대규모 데이터셋을 공유할 때 유용

⚠️ 요청한 사람은 반드시 AWS에서 인증되어 있어야 한다(익명 사용자 불가).

3. 이벤트 알림

• S3에서 어떠한 작업 수행 시 이벤트 발생
  • 객체 생성, 삭제, 복원 등
• 이러한 이벤트 발생 시 특정 작업 트리거 가능
• 이벤트는 원하는 만큼 생성하고 원하는 대상으로 전송 가능
• S3 이벤트 알림은 일반적으로 몇 초 내에 전송
  • 가끔 1분 이상 소요될 수 있음

이벤트 전송 가능 서비스

• SNS
• SQS
• Lambdaa Function
• Amazon EventBridge
  • 고급 필터링 옵션 사용 가능
  • 다양한 서비스에 전송 가능
  • 이벤트 아카이빙 또는 재생, 안정적 전송

4. 성능

기본 성능

• 자동 스케일링, 100~200ms의 지연 시간
• 버킷 내에서 초당 3,500개의 PUT/COPY/POST/DELETE와 초당 5,500개의 GET/HEAD 요청 지원

접두사

• 객체 위치: bucket/folder1/sub1/file
• 접두사: /folder1/sub1/

예시

• bucket/folder1/sub1/file
• bucket/folder1/sub2/file
• bucket/1/file
• bucket/2/file

💡위와 같이 버킷이 구성되어 있다면 모든 접두사가 다르므로 초당 22,000개의 GET/HEAD 요청을 처리할 수 있다.

Multi-Part upload

• 100MB가 넘는 파일은 멀티파트 업로드 사용 권장
• 5GB 이상 파일은 반드시 사용해야 함
• 병렬화 업로드 지원
• 큰 파일을 여러 파트로 나누어 업로드하고 모두 업로드되면 S3에서 다시 합침

S3 Transfer Acceleration

• 파일을 AWS 엣지 로케이션으로 전송하여 전송 속도를 높이고 데이터를 대상 리전에 있는 S3 버킷으로 전달
• 파일 송수신 시 전송 속도를 높이는 좋은 방법

예시

• 미국에 있는 파일을 호주에 있는 S3 버킷으로 업로드하려는 상황
• 인터넷을 통해 미국에 있는 엣지 로케이션을 통해 파일 업로드
• AWS Private Network를 통해 엣지 로케이션에서 호주의 S3 버킷으로 업로드

public internet사용량 최소화, private aws network 사용량 최대화

S3 Byte-Range Fetches

• 파일에서 특정 범위를 가져와서 GET 요청을 병렬화
• 특정 바이트 범위를 가져오는 데 실패한 경우에도 더 작은 바이트 범위에서 재시도하므로 실패의 경우 복원력 높음

사용 사례

• 다운로드 속도 개선
  • 모든 파트 부분을 특정 바이트 범위로 가져오기 요청
  • 모든 요청 병렬화
• 파일의 일부만 검색
  • S3에 있는 파일의 첫 50바이트가 헤더라는 것을 안다면 헤더에 대한 바이트 범위 요청을 보내면 됨
  •  

5. S3 Select & Glacier Select

• S3에서 제공하는 필터링 서비스

S3 Select 이전

1. S3의 모든 데이터 검색
2. 애플리케이션에서 필터링 후 원하는 데이터 추출

S3 Select 이후

1. S3에서 필터링 처리
2. 필터링된 데이터를 애플리케이션에 전송

💡400%의 속도 상승 및 80%의 비용을 절감할 수 있다.

💡 간단한 필터링 시 S3 Select를 활용할 수 있다.

6. Batch Operations

• 단일 요청으로 S3 객체에서 대량 작업을 수행하는 서비스
• 작업(job)은 객체 목록, 수행할 작업 옵션 매개변수로 구성

사용 사례

• 객체의 메타데이터 및 프로퍼티 수정
• S3 버킷 간 객체 복사
• 객체 암호화
• ACL, tag 수정
• S3 Glacier의 객체 복원
• 각 객체의 커스텀 액션을 수행하기 위한 Lambda Function 호출

사용 이유

• 재시도 관리 가능
• 진행 상황 추적, 작업 완료 알림 및 보고서 생성 등

전달 객체 목록 생성 방법

1. S3 Inventory라는 기능을 사용해 객체 목록을 가져옴
2. S3 Select를 통해 객체 필터링
3. 필터링된 객체 목록을 S3 Batch Operation에 수행할 작업, 매개변수와 함께 객체 목록 전달
4. S3 배치가 작업 수행 및 객체 처리