robots.txt란 조직/자동화된 방법으로 웹을 탐색하는 프로그램인 로봇들에게 해당 사이트나 웹페이지를 수집하는 것에 대해 허용하거나 제한하는 국제권고안이다. 보통 주소창에 웹사이트 주소/robots.txt 를 입력하면 확인할 수 있다. Ex)abc.com/robots.txt 사용방법은 아래와 같다. User-agent : 제어할 로봇(Bing : bingbot, 네이버 : Yeti, Google : Googlebot 등이 있다) Disallow : 제한 여부 Allow : 허용 여부 ※ Disallow, Allow에서 디렉터리는 '/' 으로 끝나야 하고 '*' 은 전체를 의미한다. 예시를 4가지 정도 들어보았다. 예시 1) User-agent : * Allow : / Disallow : /hambur..