https://jeidiiy.notion.site/Kinesis-Data-Firehose-b46617a0336844609385eb5792b3324d?pvs=4 Kinesis Data Firehose 1. 개념 jeidiiy.notion.site 💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다. 1. 개념 프로듀서로부터 데이터를 가져오고 처리 후 전송 가능한 완전 관리형 서버리스 서비스 애플리케이션 클라이언트 SDK, KPL Kinesis Agent Kinesis Data Stream Amazon CloudWatch (Log & Event) AWS IoT 여러 수신처에 데이터 전송 가능 AWS - S3, Redshift, OpenSearch (암기!) 3rd-party partner - D..

https://jeidiiy.notion.site/Kinesis-Data-Stream-30222268fb354385b7ca6b2d31dd1553?pvs=4 Kinesis Data Stream 대규모 데이터 흐름을 다루는 서비스 jeidiiy.notion.site 💡노션에 최적화된 글입니다. 링크를 통해 접근할 수 있습니다. 대규모 데이터 흐름을 다루는 서비스 1. 개념 샤드 여러 개의 샤드로 구성. 서비스 시작 전 프로비저닝해야 함 데이터 수집률 또는 소비율 측면에서 스트림 용량 결정 프로듀서 애플리케이션, 데스크탑, 휴대폰, SDK, KPL 등 매우 낮은 수준에서 SDK에 의존하여 Kinesis Data Stream에 레코드 전달 송신 레코드 구성요소 파티션 키: 레코드가 이용할 샤드를 결정하는 데 사..

https://jeidiiy.notion.site/Amazon-SNS-2ece4a5e47114bf0a543cf427ebb5032?pvs=4 Amazon SNS Simple Notification Service jeidiiy.notion.site 💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다. Simple Notification Service 1. SNS란? 하나의 메시지를 여러 수신자에게 전송해야 할 때 사용 Pub/Sub 패턴 - 메시지를 하나의 주제(Topic)으로 게시(Publish)하면 구독자(Subscriber)들이 이를 수신하여 보관 이벤트 생산자는 한 SNS 토픽에만 메시지 송신 이벤트 수신자(구독자)는 해당 주제로 전송된 메시지를 모두 수신 (신규 기능: 메시지 필터링 기..

https://jeidiiy.notion.site/Amazon-SQS-05252e50f928441d991991383cabe98d?pvs=4 Amazon SQS Simple Queue Service jeidiiy.notion.site 💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다. Simple Queue Service 1. SQS란? AWS에서 제공하는 표준 대기열(queue)용 완전관리형 서비스 AWS에서 제공하는 가장 오래된 서비스 중 하나 (10년 이상) 애플리케이션을 **분리(decouple)**하는 데 사용 2. 특징 무제한 처리량, 큐에 있는 메시지 수 또한 무제한 메시지 수명 - 4일, 최대 14일 💡 큐에 메시지를 보내자마자 컨슈머가 읽고 해당 보존 기간 내에 처리한 후 큐..

https://jeidiiy.notion.site/AWS-DataSync-e434a6a23fe941fcb24932557c24f163?pvs=4 AWS DataSync 데이터를 동기화하며 이를 통해 대용량의 데이터를 한 곳에서 다른 곳으로 옮기는 서비스 jeidiiy.notion.site 💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다. 데이터를 동기화하며 이를 통해 대용량의 데이터를 한 곳에서 다른 곳으로 옮기는 서비스 특징 온프레미스 to AWS 클라우드 (NFS, SMB, HDFS, S3 API 등) 이 경우 옮길 위치에 에이전트 필요 AWS 클라우드 to AWS 클라우드 간 이용 가능 에이전트 불필요 동기화 to Amazon S3 (Glacier를 포함한 모든 스토리지 클래스) Am..

https://jeidiiy.notion.site/AWS-Transfer-Family-5e5673e47839415d9eb27f38a870b102?pvs=4 AWS Transfer Family Amazon S3나 Amazon EFS 안팎으로 데이터를 전송하려고 하는데 S3 API나 EFS 네트워크 파일 시스템도 사용하지 않고 FTP 프로토콜만 사용하려는 경우 사용할 수 있는 완전 관리형 서비스 jeidiiy.notion.site 💡노션에 최적화된 글입니다. 위 링크를 통해 접근할 수 있습니다. Amazon S3나 Amazon EFS 안팎으로 데이터를 전송하려고 하는데 S3 API나 EFS 네트워크 파일 시스템도 사용하지 않고 FTP 프로토콜만 사용하려는 경우 사용할 수 있는 완전 관리형 서비스 지원 프로토..