하리하링웹

이전 글 https://jjongsk.tistory.com/entry/Instagram-Crawler-Deployment-Using-AWS-Design Instagram Crawler Deployment Using AWS: DesignOverviewI was given the job of deploying an Instagram crawler using the GPT API to ensure stable operation for a side project currently in progress. The crawler itself has been fully developed by the PM I'm collaborating with, andjjongsk.tistory.com  개발 요구사항볼드 처리된 요구..

배포 도구AWS AmplifyAmplify는 개발자가 좀 더 간단하게 코드를 배포할 수 있는 방법을 제공한다. 풀 스택 개발 팀원 모두가 Amplify CLI 또는 브라우저 기반 Studio 등의 도구로 협업할 수 있다.Amplify를 통해 데이터 베이스, 스토리지, 권한 인증 등 완벽한 리소스를 구현하고 UI 디자인도 가능하다.CloudFormation 등의 서비스와 통합해 상용화 준비단계 및 상용화 단계에 맞는 배포 환경을 제공한다. Amplify 프로젝트 환경은 템플릿으로 export 한뒤 DevOps 도구에 재배포 할 수 있다.AWS Serverless Application RepositoryAWS Serverless Application Repository는 관련 리소스를 재구성해 새로운 요구사..

개요클라우드 기반의 개플리케이션 구현에 앞서 비용 관련한 철저한 분석이 필요하다. 또한 적절한 비용으로 리소스를 실행할 수 있게 준비했다 하더라도 낭비되는 리소스가 발생할 수 있고, 해커에 의해 예기치 못한 비용이 지출될 수 있다.비용 계획, 추적, 제어AWS 관리 콘솔 상단 결제 대시보드에서 대금, 비용 관리 대시보드를 확인할 수 있다.AWS Budgets비용 대시보드 좌측, 기본 설정에서 비용 청구에 대한 설정 페이지를 확인할 수 있다. 이를 통해 Amazon CloudWatch Alarms을 통한 경고 메시지, AWS Budgets를 통한 비용 추적을 사용할 수 있다.budgets는 실행 중인 리소스 관련 비용을 추적하며, 기준선을 벗어나면 경고 메시지를 전송한다. 리소스에 비용 할당 태그를 부착해..

개요정보 보안의 기본 목표는 데이터의 보호, 특히 해당 데이터를 저장한 리소스 보호, 접근 보안이다. 데이터를 보호하기 위해 다음 세 가지 오류를 준수해야한다.기밀성특정 데이터에 대한 접근 권한이 있는 사람, 시스템만이 해당 데이터에 접근할 수 있어야 한다. 데이터 암호화와 ACL은 기밀성을 강화하는 주요 매커니즘이다.무결성데이터는 악의적으로 또는 우연히 변조돼서는 안 된다. 암호화를 위한 해싱, 로그 관리는 무결성을 검증하는 주요 도구다.가용성데이터를 필요로 하는 사람은 해당 데이터에 접속할 수 있어야 한다. 데이터가 무결성을 유지하고 있더라도 해커 등의 Dos 공격으로 해당 데이터에 접속할 수 없다면 가용성이 부족한 것이다.신분 및 접근 권한 관리AWS에서의 보안은 IAM에서 제공하는 신분을 기준으로..

OverviewI was given the job of deploying an Instagram crawler using the GPT API to ensure stable operation for a side project currently in progress. The crawler itself has been fully developed by the PM I'm collaborating with, and my responsibility is to deploy it in a stable and scalable manner. We plan to use AWS for the overall deployment, with the following requirements:A list of specific fo..

개요주기적으로 함께 사이드 프로젝트를 하는 PM 친구가 최근 AI를 포함한 개발 공부를 시작하더니 갑자기 AWS 자격증 시험을 같이 보자고 권유했고 AWS의 기능을 쭉 제대로 공부해보자는 마음에 흔쾌이 수락하여 시험을 준비하게 되었다.준비 과정시험 준비는 회사를 다니며 약 3주 정도는 AWS 관련 공부, 책 읽기, 노션에 정리하는 방식으로 이론 공부를 했고 1주 정도 문제를 쭉 한 번 본 뒤에 시험을 봤다. 출,퇴근 각각 약 30분 정도 지하철에서 문서를 읽고 회사 퇴근 뒤 야근 유무에 상관없이 항상 2시간씩 공부를 하고 퇴근하는 식으로 준비했다. 주말이라고 딱히 더 공부를 하지는 않았고 주말에도 2시간 정도 공부를 진행했던 것 같다. 작년 8~9월쯤에 앞으로의 미래를 위해 회사를 퇴근한 뒤에도 반드시 ..

가용성 계산하기가용성이란 애플리케이션이 기대한 성능을 발휘하는 시간의 비율이다. 연간 가용성 비율 비가용 시간99%3일, 15시간, 30분99.9%8시간, 45분99.95%4시간, 22분99.99%52분99.999%5분가용성은 9의 개수로 표현하기도 한다. 예를들어 두 개의 9는 99%를 의미한다.전통적인 애플리케이션과 클라우드 네이티브 애플리케이션의 가용성 차이전통적인 애플리케이션의 가용성이는 기존의 Linux, Windows에서 실행되는 애플리케이션을 의미하며, 이를 AWS에 배포하려면 하나 이상의 EC2 인스턴스를 실행해야한다.예를들어 멀티 AZ 기반 RDS 배포 환경에서 EC2 인스턴스 하나에 의존해서 실행 중인 전통적인 애플리케이션의 경우를 생각해보자 이 애플리케이션의 가용성은 EC2 인스턴스 ..

AWS Lake Formation조직이 커지면 데이터가 파편화되어 저장되기때문에 분석 업무가 어려워진다 이를 해결하는 방법이 바로 데이터 레이크이다.데이터 레이크는 다양한 구조의 데이터를 수집 및 저장하는 중앙화 데이터베이스이다. 데이터 레이크에 데이터 저장 시 데이터 구조화, 정렬, 복제 등의 작업을 할 필요가 없으며, 데이터 레이크에 있는 그대로 검색, 분석, 시각화, 상관 관계 분석 작업 수행이 가능하다.AWS Lake Formation은 AWS 또는 온프레미스 어디에 있는 데이터여도 수집, 분석할 수 있는 데이터 레이크 서비스이며 또 다른 서비스인 AWS Glue를 이용해 Extract, Transform, Load 작업 즉 데이터 추출, 변환, 로딩 작업을 수행한다. AWS Glue는 Apach..

도메인 네임 시스템(DNS)AWS에서 인터넷 네트워크로 연결되는 서비스 시작 시 해당 시버스를 도메인 네임으로 연결할 수 있으며 Amazon Route 53이 이를 도와주는 서비스이다.네임스페이스IP 주소를 사람이 식별하기 편한 이름으로 변경 시 중복되는 이름이 있으면 안되기떄문에 이러한 인터넷 네임 시스템은 네임스페이스라는 도메인 네임 체계로 관리된다. 인터넷은 퍼블릭, 프라이빗 IP를 통하거나 TLD를 통해 접근할 수 있는 네임스페이스로 구획이 나눠진 가상의 공간이라 말할 수 있다.네임 서버amazon.com과 IP 주소를 연결하는 일은 네임 서버가 담당한다. 모든 컴퓨터는 로컬에서 접근할 수 있는 간단한 네임서버 데이터베이스를 지니며 여기에 localhost와 같은 호스트네임 엔트리, IP 주소가 ..

AWS Lake Formation조직이 커지면 데이터가 파편화되어 저장되기때문에 분석 업무가 어려워진다 이를 해결하는 방법이 바로 데이터 레이크이다.데이터 레이크는 다양한 구조의 데이터를 수집 및 저장하는 중앙화 데이터베이스이다. 데이터 레이크에 데이터 저장 시 데이터 구조화, 정렬, 복제 등의 작업을 할 필요가 없으며, 데이터 레이크에 있는 그대로 검색, 분석, 시각화, 상관 관계 분석 작업 수행이 가능하다.AWS Lake Formation은 AWS 또는 온프레미스 어디에 있는 데이터여도 수집, 분석할 수 있는 데이터 레이크 서비스이며 또 다른 서비스인 AWS Glue를 이용해 Extract, Transform, Load 작업 즉 데이터 추출, 변환, 로딩 작업을 수행한다. AWS Glue는 Apach..