웹 스크래핑1 [Day 284] Web Scraping Web Scraping 봇을 사용하여 웹 사이트에서 콘텐츠와 데이터를 추출하는 프로세스 기본 HTML 코드와 함께 데이터베이스에 저장된 데이터를 추출 웹 스크래핑과 웹 크롤링 웹 스크래핑과 웹 크롤링 모두 데이터를 활용하는 분야에서 데이터 수집을 할 때 사용하는 도구 웹 크롤러는 웹 페이지 내부 링크를 따라가며 인터넷을 체계적으로 검색하는 봇으로 자동화된 방법으로 웹 정보를 탐색 웹 스크래핑은 탐색보다는 수집에 가까우며, 특정 목적을 가지고 원하는 정보를 말 그대로 긁어오는 것을 뜻함 합법적인 봇 악성 봇 1. 합법적인 봇은 스크랩하는 조직으로 식별됨 예를 들어 Googlebot은 HTTP 헤더에서 자신을 Google에 속한 것으로 식별 2. 사이트의 robot.txt 파일을 준수 1. 거짓 HTTP 사.. 2021. 5. 20. 이전 1 다음