- robots.txt 란?
검색 엔진 로봇에게 웹사이트를 어떻게 크롤링해야 하는지 가이드를 해주는 역할이다
root directory에 존재해야 하며 txt 파일로 설정되어 있어야 한다
- robots.txt 구성
user-agent 규칙이 적용되는 크롤러의 이름
disallow 유저 에이전트의 디렉토리 또는 페이지 크롤링을 차단
allow 유저 에이전트의 디렉토리 또는 페이지 크롤링을 허용 (구글 봇에서만 적용 가능)
sitemap 웹 사이트의 모든 리소스를 나열한 목록 파일
현재 프로젝트에는 사이트의 모든 콘텐츠를 크롤러로부터 차단해야 해서 아래 소스를 적용했다
User-agent: *
Disallow: /
댓글