[AWS SAA-003] [서비스 및 기능] 1. 분석

Amazon Athena

• 표준 SQL을 사용하여 S3에 있는 데이터를 직접 간편하게 분석할 수 있는 대화형 쿼리 서비스
• 서버리스 서비스라 관리할 인프라가 없고 실행한 쿼리에 대해서만 비용 지불하면 됨
• Athena는 자동으로 확장되어 쿼리를 병렬로 실행하여 대규모 데이터 집합과 복잡한 쿼리에서도 빠르게 결과를 얻을 수 있음

AWS Data Exchange

• AWS 고객이 클라우드에서 타사 데이터를 안전하게 검색, 구독, 사용할 수 있도록 지원하는 서비스
• 마켓플레이스에서 선별된 다양한 타사 데이터(의료, 금융, 생명과학 등) 구독 가능
• 구독하는 데이터를 API나 콘솔을 이용해 S3에 직접 로드할 수 있음
• AWS Data Exchange 소개

AWS Data Pipeline

• 온프레미스 데이터 소스 뿐만 아니라 여러 AWS 컴퓨팅 및 스토리지 서비스 간에 데이터를 안정적으로 처리하고 정기적으로 이동할 수 있게 지원하는 웹서비스
• 저장된 데이터에 정기적으로 액세스하고, 대규모로 데이터 변환 및 처리하여 S3, RDS, DynamoDB, EMR 드에 그 결과를 전송할 수 있음
• Amazon Data Pipeline - 관리형 ETL 서비스 - Amazon Web Services

Amazon EMR

• Apache Spark, Apache Hive, Presto 같은 오픈소스 분석 프레임워크를 사용하여 대규모 분산 데이터 처리 작업, 대화형 SQL 쿼리 및 머신러닝 애플리케이션을 실행하기 위한 클라우드 빅데이터 플랫폼

AWS Glue

• 분석, 머신 러닝 및 애플리케이션 개발을 위해 데이터를 쉽게 검색, 준비, 조합할 수 있도록 지원하는 서버리스 데이터 통합 서비스
• 데이터 검색, 변환, 매핑 등을 자동화하여 데이터를 쉽게 이동시킬 수 있는 ETL(추출,변형,로드) 서비스
• 데이터 원본을 크롤링하여 데이터 형식을 파악하고 데이터 저장을 위한 스키마를 제안함. 또 자동으로 코드를 생성하여 데이터 변환 및 데이터 로딩 프로세스를 실행함

Amazon Kinesis

• 실시간으로 비디오 및 데이터 스트림을 쉽고 빠르게 수집,처리,분석할 수 있는 서비스

AWS Lake Formation

• 데이터 레이크를 신속하게 구축, 보안, 관리할 수 있는 종합관리형 서비스
• 데이터베이스 및 객체 스토리지의 데이터를 수집하고 카탈로그화 한 후 새로운 S3 데이터레이크로 옮긴 다음 머신러닝을 이용해 정리 및 분류하고 세분화된 제어를 통해 민감한 데이터 액세스를 보호함. 이 작업이 완료되면 사용자는 중앙 집중식 데이터 카탈로그에 액세스하여 Redshift, Athena, QuickSight, Amazon EMR for Apache Spark 등 선택한 머신러닝 서비스에서 이러한 데이터 세트를 사용할 수 있음
• AWS Glue에서 제공되는 기능을 기반으로 함
• AWS Lake Formation

Amazon Managed Streaming for Apache Kafka(Amazon MSK)

• 완전관리형 Apache Kafka를 통해 실시간으로 스트리밍 데이터를 손쉽게 수집하고 처리하게 해줌

Amazon OpenSearch Service(Amazon Elasticsearch Service)

• AWS 클라우드에서 OpenSearch 클러스터를 손쉽게 배포, 운영, 확장할 수 있도록 해주는 관리형 서비스(엘라스틱 서치 서비스 후속)
• 오픈 서치는 로그 분석, 실시간 애플리케이션 모니터링, 웹사이트 검색 등을 위한 오픈소스 검색 및 분석 엔진으로 이걸 사용하면 데이터 수집,분석,보안이 쉬워짐
• Amazon OpenSearch Service란 무엇입니까?
• OpenSearch란 무엇입니까 - Amazon Web Services

Amazon QuickSight

• 클라우드 기반 서버리스 BI(Business Intelligence) 서비스
• 자연어로 질문하거나 대화형 대시보드를 통해 탐색하거나 머신 러닝을 기반으로 패턴과 이상값을 자동으로 찾는 방법으로 데이터에 대한 이해를 높일 수 있음

Amazon Redshift

• 페타바이트급 클라우드 데이터 웨어하우스 플랫폼
• SQL을 사용하여 여러 데이터 웨어하우스, 운영 데이터베이스 및 데이터 레이크에서 정형/반정형 데이터를 분석하여 실시간 인사이트와 예측 인사이트를 얻을 수 있음
• 데이터 웨어하우스 | Redshift | Amazon Web Services