본문 바로가기

전체 글348

[Day 284] Web Scraping Web Scraping 봇을 사용하여 웹 사이트에서 콘텐츠와 데이터를 추출하는 프로세스 기본 HTML 코드와 함께 데이터베이스에 저장된 데이터를 추출 웹 스크래핑과 웹 크롤링 웹 스크래핑과 웹 크롤링 모두 데이터를 활용하는 분야에서 데이터 수집을 할 때 사용하는 도구 웹 크롤러는 웹 페이지 내부 링크를 따라가며 인터넷을 체계적으로 검색하는 봇으로 자동화된 방법으로 웹 정보를 탐색 웹 스크래핑은 탐색보다는 수집에 가까우며, 특정 목적을 가지고 원하는 정보를 말 그대로 긁어오는 것을 뜻함 합법적인 봇 악성 봇 1. 합법적인 봇은 스크랩하는 조직으로 식별됨 예를 들어 Googlebot은 HTTP 헤더에서 자신을 Google에 속한 것으로 식별 2. 사이트의 robot.txt 파일을 준수 1. 거짓 HTTP 사.. 2021. 5. 20.
[Day 283] AWS S3 - Directory Listing 방식 설정 1. AWS S3> 버킷 만들기 1.1 AWS 리전 : 임의의 리전 선택 1.2 퍼블릭 액세스 차단 모두 체크 해제 ※ 모든 Public Access를 허용하는 설정이므로, 민감한 데이터는 업로드하지 않도록 주의 필요 ※ 특정 IP만 S3에 접근하도록 제한하려면 아래 사이트 참고 https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/example-bucket-policies.html#example-bucket-policies-use-case-3 2. https://github.com/qoomon/aws-s3-bucket-browser 접속> Code 다운로드 3. 생성한 버킷 선택> 권한> 버킷 정책> 편집> readme.md의 Bucket Polic.. 2021. 5. 19.
[Day 282] AWS DMS(Database Migration Service) AWS DMS(Database Migration Service) AWS에서 제공해 주는 RDB 마이그레이션 서비스 이기종 간의 데이터 이전 가능 필요한 테이블 또는 일부 컬럼만을 레플리케이션 가능 온프레미스 DB에서 AWS로 마이그레이션하거나, VPC 간 DB 마이그레이션 시 사용 * 출처 : https://www.megazone.com/aws-database-migration-service-dms/ https://www.megazone.com/aws-database-migration-service-dms/ www.megazone.com 2021. 5. 18.
[Day 281] 보존이 필요한 주요 로그 유형 예시 유형 상세 시스템 이벤트 로그 운영체제 구성요소에 의해 발생하는 로그(시스템 시작, 종료, 상태, 에러코드 등) 네트워크 이벤트 로그 IP주소 할당, 주요 구간 트래픽 로그 보안시스템 로그 관리자 접속, 보안정책(룰셋) 등록/변경/삭제 등 보안관련 감사 로그 사용자 접속기록, 인증 성공/실패 로그, 파일 접근, 계정 및 권한 등록/변경/삭제 등(서버, 응용프로그램, 보안시스템, 네트워크 시스템, DB 등) 개인정보처리시스템 접속기록 개인저보취급자가 개인정보처리시스템에 접속한 사실을 알 수 있는 접속자 계정, 접속일시, 접속지 정보, 수행 업무 등 기타 정보보호 관련 로그 * 출처 : ISMS-P 인증기준 안내서 2021. 5. 17.

티스토리툴바