Agenda
기대 효과
데이터를 통해 얻을 수 있는 것
필요한 데이터
•
필요한 데이터
◦
트랜잭션 데이터
▪
기업에서 발생되는 모든 거래, 고객, 상품 데이터 등을 의미
◦
고객 행동 로그
▪
웹서버나 모바일 앱 등에서 수행되는 모든 고객 행동 로그
◦
기타 데이터
▪
GA, 엑셀 데이터등등…
•
S3
◦
비용 - $25/1TB
◦
Athena, QuickSight, Personalization에서 Data Source로 사용 가능.
Easy DataLake 아키텍처
•
S3 - Glue - Athena
◦
Glue Crawler - 메타데이터 식별
◦
Glue Data Catalog(feat. Schema)
•
Athena
◦
S3에 저장된 데이터를 쉽게 분석할 수 있도록 SQL쿼리를 사용하여 데이터를 검색, 분석할 수 있는 서버리스 쿼리 서비스
•
Log - Kinesis Firehose - S3
•
Kinesis Agent를 웹서버에 설치 후 수집.
•
실시간 니즈가 있다면… DMS + Hudi, IceBerg 함께 사용…
•
배치 작업은 Glue로 처리.
•
데이터 볼륨이 작다면 Lambda Connector(by Athena)를 통해서 데이터베이스에 연결해서 실시간 데이터 활용 가능.
•
GA - BigQuery - Glue Connect
◦
GCP 인증 정보 GA 테이블 정보를 파라미터로 넘겨서 연계
