[AWS] Amazon SQS

https://jeidiiy.notion.site/Amazon-SQS-05252e50f928441d991991383cabe98d?pvs=4 

Amazon SQS

💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다.

• Simple Queue Service

1. SQS란?

• AWS에서 제공하는 표준 대기열(queue)용 완전관리형 서비스
• AWS에서 제공하는 가장 오래된 서비스 중 하나 (10년 이상)
• 애플리케이션을 **분리(decouple)**하는 데 사용

2. 특징

• 무제한 처리량, 큐에 있는 메시지 수 또한 무제한
• 메시지 수명 - 4일, 최대 14일

💡 큐에 메시지를 보내자마자 컨슈머가 읽고 해당 보존 기간 내에 처리한 후 큐에서 삭제해야 한다. 그렇지 않으면 소실된다.

• 짧은 지연 시간 - SQS에 메시지를 보내거나 읽을 때마다 10ms 이내로 매우 빠르기 처리
• 메시지 크기 - 최대 256KB
• 중복 메시지 존재 가능
• best effort ordering이라는 뜻으로 out of order 메시지를 보낼 수도 있음

3. Producing Messages

• Producer는 SDK (SendMessage API)를 사용하여 SQS에 메시지 전송
• 큐에 메시지가 들어가면 Consumer가 메시지를 읽고 삭제할 때까지 큐에서 유지

4. Consuming Messages

• Consumers (EC2 인스턴스 에서 실행 중인 애플리케이션, AWS Lambda 등)
• Consumer는 SQS 메시지를 폴링
• Consumer는 한 번에 최대 10개의 메시지 수신 가능
• DeleteMessage API를 사용하여 메시지 삭제

5. Multiple EC2 Instances Consumers

• 여러 개의 컨슈머 운영 가능
• 각 컨슈머는 poll 함수를 호출하여 다른 메시지 세트 수신
• At-least once delivery
  • 메시지가 컨슈머에 의해 충분히 빠르게 처리되지 않으면 다른 컨슈머가 수신
• Best-effort message ordering
• 메시지를 처리한 컨슈머는 메시지를 지워야 함
• 더 많은 메시지가 있어 처리량을 늘려야 한다면 컨슈머를 추가하고 수평 확장을 통해 처리량 개선 가능

6. SQS with Auto Scaling Group (ASG)

• 컨슈머가 ASG 내부에서 EC2 인스턴스를 실행하고 SQS 큐에서 메시지 폴링
• ASG는 큐의 길이(ApproximateNumberOfMessages)를 사용하여 확장
• 이는 모든 SQS 큐에서 쓸 수 있는 CloudWatch 메트릭
• 알람 설정도 가능
  • 일정 수준이 넘어가면 CloudWatch Alarm을 통해 ASG의 용량 증가

7. SQS to decouple between application tiers

• 프론트엔드와 비디오 처리 백엔드 분리
• 프론트엔드에서 비디오를 업로드하면 SQS에 메시지를 전송
• 백엔드는 메시지를 수신하여 비디오 처리
• 프론트엔드와 백엔드의 독립적 확장 가능
• SQS 또한 무제한의 처리량과 큐의 메시지 수 덕분에 안전

8. Security

• 암호화
  • HTTPS API를 사용한 네트워킹 간 암호화
  • KMS 키를 사용한 미사용 암호화
  • 클라이언트 암호화 - SQS에서 기본적으로 지원하지는 않음
• 접근 제어: IAM 정책
• SQS 접근 정책: S3 버킷 정책과 비슷한 정책

9. Message Visibility Timeout

• 컨슈머가 메시지를 폴링하면 그 메시지는 다른 컨슈머에게 보이지 않음
• 0초 ~ 12시간까지 설정 가능. 기본값 - 30초
• 만약 시간이 경과되고 메시지가 큐에서 삭제되지 않았다면 다시 메시지를 큐에 넣음
• 그러면 다른 컨슈머 또는 같은 컨슈머가 다시 받음

💡 만약 컨슈머가 메시지를 적극적으로 처리하고 있지만 시간이 더 필요하다는 것을 알고 있으나 시간이 초과될 것 같으면 시간을 더 얻기 위해 ChangeMessageVisibility라는 API를 호출하여 SQS에 알려야 한다.

• visibility timeout이 높으면 메시지가 큐에 다시 나타나는데 오래 걸림
• visibility timeout이 낮으면 여러 소비자가 메시지를 여러 번 읽을 것이며 중복 처리될 수도 있음
• 따라서 message visiblity timeou 값은 합당하게 설정해야 함

10. Long Polling

• 컨슈머가 큐에 메시지를 요청하는데 큐에 아무것도 없다면 메시지 도착을 기다리도록 하는 기능
• 목적 - 지연 시간 및 SQS로 보내는 API 호출 횟수 절감
• 1초 ~ 20초 설정 가능 (20초 선호)
• Long Polling이 Short Polling 보다 권장됨

롱 폴링 구성 방법

1. 큐 레벨에서 구성하여 여러 컨슈머에 Long Polling을 하도록 하는 방법
2. WaitTimeSeconds를 지정함으로써 컨슈머가 스스로 Long Polling을 하도록 하는 방법

11. FIFO Queue

• FIFO 구조를 가지는 SQS
• 엄격한 메시지 순서 보장
• 처리량 제한 - 묶음(batch)이 아닐 경우 300 msg/s, 묶음일 경우 3000 msg/s
• 중복 제거 기능 제공을 통해 정확히 한 번만 보낼 수 있음
• 분리가 발생하거나 메시지의 순서를 유지할 필요가 있을 때 사용

Amazon SQS

• Simple Queue Service

1. SQS란?

• AWS에서 제공하는 표준 대기열(queue)용 완전관리형 서비스
• AWS에서 제공하는 가장 오래된 서비스 중 하나 (10년 이상)
• 애플리케이션을 **분리(decouple)**하는 데 사용

2. 특징

• 무제한 처리량, 큐에 있는 메시지 수 또한 무제한
• 메시지 수명 - 4일, 최대 14일</aside>

💡 큐에 메시지를 보내자마자 컨슈머가 읽고 해당 보존 기간 내에 처리한 후 큐에서 삭제해야 한다. 그렇지 않으면 소실된다.

• 짧은 지연 시간 - SQS에 메시지를 보내거나 읽을 때마다 10ms 이내로 매우 빠르기 처리
• 메시지 크기 - 최대 256KB
• 중복 메시지 존재 가능
• best effort ordering이라는 뜻으로 out of order 메시지를 보낼 수도 있음

3. Producing Messages

• Producer는 SDK (SendMessage API)를 사용하여 SQS에 메시지 전송
• 큐에 메시지가 들어가면 Consumer가 메시지를 읽고 삭제할 때까지 큐에서 유지

4. Consuming Messages

• Consumers (EC2 인스턴스 에서 실행 중인 애플리케이션, AWS Lambda 등)
• Consumer는 SQS 메시지를 폴링
• Consumer는 한 번에 최대 10개의 메시지 수신 가능
• DeleteMessage API를 사용하여 메시지 삭제

5. Multiple EC2 Instances Consumers

• 여러 개의 컨슈머 운영 가능
• 각 컨슈머는 poll 함수를 호출하여 다른 메시지 세트 수신
• At-least once delivery
  • 메시지가 컨슈머에 의해 충분히 빠르게 처리되지 않으면 다른 컨슈머가 수신
• Best-effort message ordering
• 메시지를 처리한 컨슈머는 메시지를 지워야 함
• 더 많은 메시지가 있어 처리량을 늘려야 한다면 컨슈머를 추가하고 수평 확장을 통해 처리량 개선 가능

6. SQS with Auto Scaling Group (ASG)

• 컨슈머가 ASG 내부에서 EC2 인스턴스를 실행하고 SQS 큐에서 메시지 폴링
• ASG는 큐의 길이(ApproximateNumberOfMessages)를 사용하여 확장
• 이는 모든 SQS 큐에서 쓸 수 있는 CloudWatch 메트릭
• 알람 설정도 가능
  • 일정 수준이 넘어가면 CloudWatch Alarm을 통해 ASG의 용량 증가

7. SQS to decouple between application tiers

• 프론트엔드와 비디오 처리 백엔드 분리
• 프론트엔드에서 비디오를 업로드하면 SQS에 메시지를 전송
• 백엔드는 메시지를 수신하여 비디오 처리
• 프론트엔드와 백엔드의 독립적 확장 가능
• SQS 또한 무제한의 처리량과 큐의 메시지 수 덕분에 안전

8. Security

• 암호화
  • HTTPS API를 사용한 네트워킹 간 암호화
  • KMS 키를 사용한 미사용 암호화
  • 클라이언트 암호화 - SQS에서 기본적으로 지원하지는 않음
• 접근 제어: IAM 정책
• SQS 접근 정책: S3 버킷 정책과 비슷한 정책

9. Message Visibility Timeout

• 컨슈머가 메시지를 폴링하면 그 메시지는 다른 컨슈머에게 보이지 않음
• 0초 ~ 12시간까지 설정 가능. 기본값 - 30초
• 만약 시간이 경과되고 메시지가 큐에서 삭제되지 않았다면 다시 메시지를 큐에 넣음
• 그러면 다른 컨슈머 또는 같은 컨슈머가 다시 받음

💡 만약 컨슈머가 메시지를 적극적으로 처리하고 있지만 시간이 더 필요하다는 것을 알고 있으나 시간이 초과될 것 같으면 시간을 더 얻기 위해 ChangeMessageVisibility라는 API를 호출하여 SQS에 알려야 한다.

• visibility timeout이 높으면 메시지가 큐에 다시 나타나는데 오래 걸림
• visibility timeout이 낮으면 여러 소비자가 메시지를 여러 번 읽을 것이며 중복 처리될 수도 있음
• 따라서 message visiblity timeou 값은 합당하게 설정해야 함

10. Long Polling

• 컨슈머가 큐에 메시지를 요청하는데 큐에 아무것도 없다면 메시지 도착을 기다리도록 하는 기능
• 목적 - 지연 시간 및 SQS로 보내는 API 호출 횟수 절감
• 1초 ~ 20초 설정 가능 (20초 선호)
• Long Polling이 Short Polling 보다 권장됨

롱 폴링 구성 방법

1. 큐 레벨에서 구성하여 여러 컨슈머에 Long Polling을 하도록 하는 방법
2. WaitTimeSeconds를 지정함으로써 컨슈머가 스스로 Long Polling을 하도록 하는 방법

11. FIFO Queue

• FIFO 구조를 가지는 SQS
• 엄격한 메시지 순서 보장
• 처리량 제한 - 묶음(batch)이 아닐 경우 300 msg/s, 묶음일 경우 3000 msg/s
• 중복 제거 기능 제공을 통해 정확히 한 번만 보낼 수 있음
• 분리가 발생하거나 메시지의 순서를 유지할 필요가 있을 때 사용