[use robots.txt]
1. 모두 차단
User-agent:*
Disallow:/
2. 모두 허용
User-agent:*
Allow:/
3. /admin/ 이하 차단
User-agent: *
Disallow: /admin/
4. googlebot 만 차단
User-agent: googlebot
Disallow: /
5. /img/test.html 차단
User-agent: *
Disallow: /img/test.html
6. file or directory 이름이 news 인것만 허용
User-agent: *
Allow: /news
[case image ]
User-agent: Googlebot-image
Disallow:/*.gif$
Disallow:/*.jpg$
User-agent: Yahoo-MMCrawler
Disallow:/*.gif$
Disallow:/*.jpg$
[use meta tag]
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">
[robot name]
구글 googlebot
구글이미지 googlebot-image
다음 daumoa
네이버 NaverBot, Yeti
야후 Slurp
야후이미지 yahoo-MMCrawler
엠파스 empas
MSN MSNBot
[remove page]
구글:http://www.google.com/intl/ko/remove.html
네이버: http://help.naver.com/customer_webtxt_02.jsp#deletequestion
다음: http://cs.daum.net/faq/list/15,4118.html
[robots.txt 적용여부 확인]
http://www.google.co.kr/support/webmasters/bin/topic.py?topic=8459
http://tool.motoricerca.info/robots-checker.phtml
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받고 있습니다.
이 포스팅은 제휴마케팅이 적용되어 작성자에게 일정액의 커미션이 제공될수 있습니다.
