Форум Flasher.ru

Форум Flasher.ru (http://www.flasher.ru/forum/index.php)
-   Флейм (http://www.flasher.ru/forum/forumdisplay.php?f=7)
-   -   Опять Robots (http://www.flasher.ru/forum/showthread.php?t=43123)

Audax 19.02.2003 01:17
Опять Robots
 
Хочу спросить тех кто использует robots

Как искать имена роботов для прописи в допуске к сайту, или для блокирования (disallow)?

Меня интересуют русские боты, в основном с Rambler & Yandex.
Если знаете еще какие то, может поможете?

Спасибо.

Audax 21.02.2003 01:24
И на том спасибо.

Artem Brigert 21.02.2003 09:50
Запретить определённому роботу индексацию сайта

User-agent: Sidewinder
Disallow: /




Разрешить определённому роботу индексацию сайта

User-agent: WebCrawler
Disallow:

Сорри нет времени, надо бежать уже

Audax 22.02.2003 01:53
Не извиняйся. Запарка бывает у всех.
Кстати, я знаю как писать доступы роботов :)

Я спрашивал как узнать их имена, вот к примеру как ты узнал имя Sidewinder
...

Artem Brigert 22.02.2003 14:15
смотри здесь

всё, что я нашёл.
Русские по хотлогу или спайлогу смотри


Часовой пояс GMT +4, время: 11:09.

Copyright © 1999-2008 Flasher.ru. All rights reserved.
Работает на vBulletin®. Copyright ©2000 - 2026, Jelsoft Enterprises Ltd. Перевод: zCarot
Администрация сайта не несёт ответственности за любую предоставленную посетителями информацию. Подробнее см. Правила.