크롤링 방지1 Web) robots.txt 적용해서 모든 콘텐츠를 크롤러로부터 차단하기 robots.txt 란? 검색 엔진 로봇에게 웹사이트를 어떻게 크롤링해야 하는지 가이드를 해주는 역할이다 root directory에 존재해야 하며 txt 파일로 설정되어 있어야 한다 robots.txt 구성 user-agent 규칙이 적용되는 크롤러의 이름 disallow 유저 에이전트의 디렉토리 또는 페이지 크롤링을 차단 allow 유저 에이전트의 디렉토리 또는 페이지 크롤링을 허용 (구글 봇에서만 적용 가능) sitemap 웹 사이트의 모든 리소스를 나열한 목록 파일 현재 프로젝트에는 사이트의 모든 콘텐츠를 크롤러로부터 차단해야 해서 아래 소스를 적용했다 User-agent: * Disallow: / 2022. 6. 7. 이전 1 다음
