Robots.txt
 

subj

Просто интересно, кто-нибудь использует их, приносят ли они результаты?

Я ипользую уже много лет =)
результаты разумеется приносит

Поисковые роботы при индексировании сначала обращаются к этомй файлу и только потом приступают к индексации контента. Видно по логам сервера

Спасибо.
Следует значит при раскрутке сайта во-первых писать robots.txt, потом META-тэг, и после зарегистрировать на поисковиках.
У меня русский проект, так что на поисковых машинах, которые более всего популярны (yandex, aport) я просмотрел, везде можно регистрироваться.

читай статью

http://www.webmascon.com/topics/adv/8a.asp