[Day 100] 검색엔진 정보노출 취약점

검색엔진 정보노출 취약점

• 검색엔진에 의해 해킹에 필요한 정보가 노출되는 취약점
• 로봇배제표준 : 검색로봇에 대한 웹사이트의 디렉터리 및 파일들에 대한 검색조건을 명시해놓은 표준 규약으로 접근제한 설정을 "robots.txt"파일에 기술함

 

robots.txt 설정 방법

User-agent: 로봇 이름 Allow/Disallow: URL 접근허용 여부

• 반드시 최상위 주소(루트 디렉터리)에 저장해야 함
• 대소문자 구분
• 띄어쓰기 유의. 여러 로봇 설정시 한줄 띄어쓰기 금지

 

robots.txt 설정 예시

User-agent : *  Disallow: /	모든 검색로봇(*)에 대해 웹사이트 전체(/)에 대한 접근(크롤링) 차단
User-agent: Googlebot User-agent: Yeti Disallow: (또는 Allow: /)	Googlebot, Yeti 검색로봇에 대해 웹사이트 전체 접근허용 Disallow 항목에 아무런 명시도 하지 않으면 웹사이트 전체 허용 의미. "Allow: /"과 동일
User-agent: * Disallow: /cgi-bin/ Disallow: /private/	모든 검색로봇(*)에 대해  /cgi-bin, /private 디렉터리 접근 차단
User-agent: Googlebot-image Disallow: /admin/ Disallow: /*.pdf$	Googlebot-image 검색로봇에 대해 /admin 디렉터리 접근차단 .pdf로 끝나는($) URL 접근 차단
User-agent: * Disallow: /*?	모든 검색로봇에 대해 ?(쿼리스트링)가 포함된 모든 URL 차단