Network
갑자기 사이트가 느려졌다면 확인해봐야 할 것 - Spybot
췌엠
2013. 3. 6. 22:03
최근 우크라이나산 Spybot인 AhrefBot Spider가 기승입니다.
서버 CPU는 5%도 안쓰는데 이상하게 사이트가 느려서 웹서버 로그를 봤더니 AhrefBot이라는 Bot이 제 서버를 괴롭히고 있었습니다.
정보의 바다를 항해 해 보니 robots.txt 맨 믿줄에 다음의 두 줄을 넣으라고 하더군요.
User-agent: AhrefsBot
Disallow: /
참고로 제 사이트의 robots.txt는 다음과 같이 구성하였습니다.
User-agent: *
Crawl-delay: 60
Sitemap: http://kurapa.com/sitemap.xml
Disallow: /