[구글SEO] 구글 검색엔진이 특정 폴더를 색인하지 않도록 하는 방법

구글 검색엔진이 웹사이트의 특정 폴더를 색인하지 않도록 만드는 가장 표준적인 방법은 robots.txt 파일을 사용하는 것이다.

이 파일은 웹사이트의 루트 디렉토리에 위치하며 검색엔진 크롤러에게 어떤 부분을 크롤하거나 색인하면 안 되는지를 알려줍니다.

특정 폴더를 색인하지 않도록 설정하기

웹사이트의 루트 디렉토리에 robots.txt 파일이 있는지 확인한다.
파일이 없다면 새로 만들어주세요.
해당 파일을 열고, 색인하지 않길 원하는 폴더에 대한 규칙을 추가한다.
예를 들어, /private-folder/라는 폴더를 색인하지 않도록 하려면 다음과 같이 작성한다.

User-agent: *
Disallow: /private-folder/

User-agent: *는 모든 검색엔진 크롤러에게 적용되는 규칙임을 나타낸다.
Disallow: /private-folder/는 /private-folder/ 폴더를 크롤하고 색인하지 않도록 하는 규칙이다.

주의사항

robots.txt 는 권고사항이다.
대부분의 주요 검색엔진은 이를 따르지만, 모든 웹 크롤러가 이 규칙을 따를 것이라고 보장할 수는 없다.

중요한 정보나 민감한 데이터를 포함한 페이지는 서버 측에서 암호화나 인증을 통해 보호해야 한다.
robots.txt 만으로 완전한 보안을 기대해서는 안 된다.
robots.txt 변경 후 검색엔진에 바로 반영되지 않을 수 있다.
시간이 조금 걸릴 수 있으니 Geduld가 필요하다.

마지막으로, 구글 서치 콘솔에서 robots.txt 테스터 도구를 사용하여 robots.txt 파일이 올바르게 설정되었는지 확인하는 것도 좋다.

구글 검색엔진이 웹사이트의 특정 폴더를 색인하지 않도록 만드는 가장 표준적인 방법은 robots.txt 파일을 사용하는 것이다.  이 파일은 웹사이트의 루트 디렉토리에 위치하며 검색엔진 크롤러에게 어떤 부분을 크롤하거나 색인하면 안 되는지를 알려줍니다.
특정 폴더를 색인하지 않도록 설정하기
웹사이트의 루트 디렉토리에 robots.txt 파일이 있는지 확인한다. 
파일이 없다면 새로 만들어주세요.
해당 파일을 열고, 색인하지 않길 원하는 폴더에 대한 규칙을 추가한다.  예를 들어, /private-folder/라는 폴더를 색인하지 않도록 하려면 다음과 같이 작성한다. :
robots.txtCopy code
User-agent: *

Disallow: /private-folder/
User-agent: *는 모든 검색엔진 크롤러에게 적용되는 규칙임을 나타낸다. 
Disallow: /private-folder/는 /private-folder/ 폴더를 크롤하고 색인하지 않도록 하는 규칙이다. 
주의사항
robots.txt는 권고사항이다.  대부분의 주요 검색엔진은 이를 따르지만, 모든 웹 크롤러가 이 규칙을 따를 것이라고 보장할 수는 없다.
중요한 정보나 민감한 데이터를 포함한 페이지는 서버 측에서 암호화나 인증을 통해 보호해야 한다. robots.txt만으로 완전한 보안을 기대해서는 안 된다. 
robots.txt 변경 후 검색엔진에 바로 반영되지 않을 수 있다.  시간이 조금 걸릴 수 있으니 Geduld가 필요하다. 
마지막으로, 구글 서치 콘솔에서 robots.txt 테스터 도구를 사용하여 robots.txt 파일이 올바르게 설정되었는지 확인하는 것도 좋다.