구글 검색엔진이 웹사이트의 특정 폴더를 색인하지 않도록 만드는 가장 표준적인 방법은 robots.txt 파일을 사용하는 것이다.
이 파일은 웹사이트의 루트 디렉토리에 위치하며 검색엔진 크롤러에게 어떤 부분을 크롤하거나 색인하면 안 되는지를 알려줍니다.
특정 폴더를 색인하지 않도록 설정하기
웹사이트의 루트 디렉토리에 robots.txt 파일이 있는지 확인한다.
파일이 없다면 새로 만들어주세요.
해당 파일을 열고, 색인하지 않길 원하는 폴더에 대한 규칙을 추가한다.
예를 들어, /private-folder/라는 폴더를 색인하지 않도록 하려면 다음과 같이 작성한다.
:
robots.txt
User-agent: *

Disallow: /private-folder/
User-agent: *는 모든 검색엔진 크롤러에게 적용되는 규칙임을 나타낸다.
Disallow: /private-folder/는 /private-folder/ 폴더를 크롤하고 색인하지 않도록 하는 규칙이다.
주의사항
robots.txt는 권고사항이다.
대부분의 주요 검색엔진은 이를 따르지만, 모든 웹 크롤러가 이 규칙을 따를 것이라고 보장할 수는 없다.
중요한 정보나 민감한 데이터를 포함한 페이지는 서버 측에서 암호화나 인증을 통해 보호해야 한다.
robots.txt만으로 완전한 보안을 기대해서는 안 된다.
robots.txt 변경 후 검색엔진에 바로 반영되지 않을 수 있다.
시간이 조금 걸릴 수 있으니 Geduld가 필요하다.
마지막으로, 구글 서치 콘솔에서 robots.txt 테스터 도구를 사용하여 robots.txt 파일이 올바르게 설정되었는지 확인하는 것도 좋다.