AhrefsBot은 우크라이나와 싱가폴을 중심으로 하는, 인터넷 서비스 스타트업 https://ahrefs.com 에서 운영하고 있는 크롤링 봇이다.
 
이 로봇이 얼마나 강력하냐면, 구글에서 AhrefsBot 을 입력하는 순간 추천 검색어가 1. 블록하는 방법, 2. ip주소 3. robots.txt를 무시..... 라고 나올까요 ㅎㅎ
 
최근에 제 홈페이지에도 비정상적으로 접속자가 늘어나서 보니.... 하루 접속자의 50%가 AhrefsBot 이더군요 -_-;;;
 
홈서버라서 트래픽 제한 개념은 없지만... 너무 심한 것 같아 결국엔 차단했다 .
 
구글 추천 검색에 있는 robots.txt 를 무시한다.. 라는 내용에 두려웠지만
 
오늘 확인해보니 한번도 안왔네요.
 
 
참고로 제 robots.txt이다.
 
User-agent: AhrefsBot
Disallow: /

User-agent: *
Disallow:
Disallow: /adm/
Copy
 
AhrefsBot만 차단하고, 나머지는 허용, 그리고 /adm/ 폴더는 차단이다.