본문 바로가기

AWS

 (15)
Elastic Search - Cloudwatch 연동 연동을 위한 Elasticsearch 도메인 생성 AWS Console에서 ElasticSearch Service에 접속 후 도메인 생성 IP로 접근 하기 위한 퍼블릭 액세스 설정 및 접근 허용 생성 후 로드가 되고 난 후의 Elasticsearch의 모습 엔드포인트 및 Kibana 연동도 자동으로 되는 것을 알 수 있다. 지난 번 생성한 로그 그룹에서 Elasticsearch 구독 필터 생성 로그 그룹 → 우측 상단 작업 → 구독 필터 → Elasticsearch 구독 필터 생성 설정을 완료한 후 구독 필터가 생성된 모습 생성된 스트림을 Lambda에서 확인할 수 있다. 가서 소스 코드 변경. 소스 코드는 아래와 같이 입력한다. 아래 소스는 node.js 기반으로 log 및 slowquery을 추출해주..
RDS에서 DDB로 Data Insert PostgreSQL RDS (RDB)의 데이터를 Amazon DynamoDB (NoSQL)로 insert하는 방법에 대해 설명하고자 합니다. 사용하는 툴은 pgAdmin, Amazon S3, Amazon IAM, Amazon Lambda, Amazon DynamoDB, boto3 입니다. Postgre SQL에서 emp 테이블의 결과 값을 csv 파일로 저장합니다. 저장되는 csv 파일의 이름은 data-1617595503266.csv 파일입니다. 다운 받은 csv 파일을 S3 Bucket에 올려줍니다. Insert할 데이터를 담을 테이블을 생성해줍니다. 이후 Lambda와 Boto3를 이용하여 S3 Bucket과 DynamoDB 접근을 위해서 역할을 생성해야 합니다. 그에 앞서서 역할에 적용할 정책을 ..
AWS Command Line Interface (AWS CLI) AWS Command Line Interface AWS Command Line Interface(AWS CLI) - 명령줄 셸의 명령을 사용하여 AWS 서비스와 상호 작용할 수 있는 오픈 소스 도구입니다 - 최소한의 구성으로 AWS CLI를 사용하면 터미널 프로그램에 있는 명령 프롬프트에서 브라우저 기반 AWS Management 콘솔에서 제공하는 것과 동일한 기능을 구현하는 명령을 실행할 수 있습니다. - Linux 셸 – bash, zsh, tcsh 등의 일반적인 셸 프로그램을 사용하여 Linux 또는 macOS에서 명령을 실행합니다. - Windows 명령줄 – Windows의 경우 PowerShell 또는 Windows 명령 프롬프트에서 명령을 실행합니다. - 원격 – PuTTY 또는 SSH 등의..
AWS Lambda AWS Lambda AWS Lambda - 서버를 프로비저닝 하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스입니다. - 필요 시에만 코드를 실행하며, 하루에 몇 개의 요청에서 초당 수천 개의 요청까지 자동으로 확장이 가능합니다. - 사용한 컴퓨팅 시간만큼만 비용을 지불하고, 코드가 실행되지 않을 때는 요금이 부과되지 않습니다. - Lambda에서는 사실상 모든 유형의 애플리케이션이나 백엔드 서비스에 대한 코드를 별도의 관리 없이 실행할 수 있습니다. - Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버 및 운영 체제 유지 관리, 용량 프로비저닝 및 자동 조정, 코드 및 보안 패치 배포, 코드 모니터링 및 로깅 등 모든 컴퓨팅 리소스 관리를 수행합니다. - Lambda가 지..
Boto3 (AWS SDK for Python) Boto3 AWS SDK for Python Boto3 - Python용 AWS SDK(Boto3) - Boto3를 사용하면 Python 애플리케이션, 라이브러리 또는 스크립트를 Amazon S3, Amazon EC2, Amazon DynamoDB 등 AWS 서비스와 쉽게 통합할 수 있습니다. 리소스 API - Client(또는"낮은 수준") API는 기본 HTTP API 작업에 일대일 매핑을 제공합니다. - 리소스 API 명시적인 네트워크 호출을 숨기지만 대신 속성에 액세스하고 작업을 수행하도록 리소스 객체 및 리소스 모음을 제공합니다. 최신의 일관성 있는 인터페이스 - Boto3의 'Client' 및 'Resource' 인터페이스에는 AWS API를 설명하는 JSON 모델에서 동적으로 생성된 클래스가..
Amazon Athena Amazon Athena - 표준 Amazon S3을 사용하여 직접 데이터를 쉽게 분석할 수 있는 대화형 쿼리 서비스 - Facebook에서 개발한 인메모리 쿼리 엔진인 Presto를 base로 개발되었습니다. - AWS Management Console에서 몇 가지 작업을 수행하면 Amazon S3에 저장된 데이터에서 Athena를 가리키고, 표준 SQL을 사용하여 임시 쿼리를 실행하고, 몇 초 안에 결과를 얻을 수 있습니다. - 서버리스 서비스이므로 설정하거나 관리할 인프라가 없으며, 실행하는 쿼리에 대해서만 비용을 지불합니다. - 자동으로 쿼리를 병렬로 실행하게 조정되므로, 많은 데이터 세트와 복잡한 쿼리가 있더라도 결과가 빠릅니다. - Amazon S3에 저장된 비정형, 반정형 및 정형 데이터를 ..
Amazon Simple Notification Service (Amazon SNS) Amazon Simple Notification Service (Amazon SNS) Amazon Simple Notification Service (Amazon SNS) - 게시자에서 구독자(생산자 및 소비자라고도 함)에게 메시지를 전송하는 관리형 서비스입니다. - 게시자는 논리적 액세스 포인트 및 통신 채널인 주제에 메시지를 전송하여 구독자와 비동기적으로 통신합니다. - 클라이언트는 Amazon Kinesis Data Firehose, Amazon SQS AWS Lambda, HTTP, 이메일, 모바일 푸시 알림 및 모바일 문자 메시지(SMS)와 같은 지원되는 프로토콜을 사용하여 SNS 주제를 구독하고 게시된 메시지를 수신할 수 있습니다. Amazon SNS 기능 - 애플리케이션 간 메시징: Amaz..
AWS 예상치 못한 비용 환불(Refund) 받기 며칠 전 겪은 AWS 비용 관련 이슈가 있어서 정보 공유도 하고, 내용을 정리하고자 글 작성합니다. 급하신 분들은 아래 AWS 환불 받는 방법부터 읽어주시면 되겠습니다. 최근 AWS 관련하여 개인 계정(프리티어)에서 몇 가지 테스트를 하고 까먹고 몇 주간 계정을 방치했습니다. 그러던 와중 갑작스럽게 메일을 받게 됩니다. EC2 프리티어 용량을 거의 다 써간다는 메일이었습니다. 겸사겸사 회사 계정으로 요즘 테스트를 하고 개인 계정으로는 테스트를 하고 있지 않아 Cost explorer에 가서 비용을 확인했습니다. 비용이 무려 164,000% 상승한 걸 알 수 있었습니다. 세부 사항이 궁금해 내용을 확인해보았습니다. 프리티어는 요금을 청구하지 않았지만 EBS Fast Snapshop Restore Data ..

티스토리툴바