robots.txt (1) 썸네일형 리스트형 robots.txt gigablast.com이라는 검색 서비스가 이구아수 블로그에 며칠 동안 수 백 MB의 트래픽을 발생시켰다. .htaccess에서 막아 뒀는데 설정을 잘못했는지 며칠 동안 계속 접근을 했다. 다시 설정을 바꾸고 이왕 하는 김에 robots.txt 파일도 만들었다. 이 파일에는 딱 두 줄만 들어가 있다. User-agent: Gigabot Disallow: / 인간의 언어로 풀이하면 이런 내용이다, "너 기가봇이지? 꺼져!" 이 파일을 추가하고 "tail *.log"로 기가봇이 접근하는 지 확인하는데 미친듯이 내 블로그에 접속하고 있던 기가봇이 이 파일이 생성된 후 2분 정도 지났을 때 딱 robots.txt를 읽는 것을 확인했다. 로그 파일에 그 내용이 있었다. 또한 인간의 언어로 풀이하면 이렇다, "기.. 이전 1 다음