Форум Сайтостроение Веб-строительство

Отключаем роботов в robots.txt

texnikru
На сайте с 08.04.2008
Offline
57
texnikru
910

Имею на своем сайте статистику учета поисковых роботок - кто и сколько страниц качнул. Довольно прожорлив оказался Yahoo. Вот подумываю ему ограничить индексацию всего, кроме главной страницы. Как это сделать?

продам ненужное на primbaza.ru
Web-Silver
На сайте с 02.05.2007
Offline
256
Web-Silver
#1

Я вообще его забанил ;) Из-за форума.

User agent: Slurp
Disallow: /
Ваня Хельсинг
На сайте с 26.09.2007
Offline
254
Ваня Хельсинг
#2

texnikru, учитесь пользоваться поиском. На форуме уже сотни раз на этот вопрос отвечали.

/ru/forum/213771+Slurp

/ru/forum/216264+Slurp

Качественная работа с репутацией в сети. Ищу постоянных заказчиков https://reputatika.ru/ Отличный хостинг для белых сайтов ( http://goo.gl/o2vSB )
texnikru
На сайте с 08.04.2008
Offline
57
texnikru
#3

я хочу разрешить индексацию только главной страницы с какой угодно частотой. Вот только не уверен, что конструкция будет работать:

User agent: Slurp

Disallow: *

Allow: /

Что скажите?

tommy-gung
На сайте с 22.11.2006
Offline
304
tommy-gung
#4

поставьте Crawl-delay. Например,

Crawl-delay: 5

где 5 - число секунд через которое делать обращения

Здесь не могла быть ваша реклама
[Удален]
#5
texnikru:
Allow: /

Вам срочно читать спецификацию robots.txt

Ayavryk
На сайте с 11.10.2003
Offline
209
Ayavryk
#6
javadf:
Вам срочно читать спецификацию robots.txt

Она давно неактульна. Все поисковые роботы давно обзавелись своими собственными инструкциями. Включая /allow

См. например http://help.yandex.ru/webmaster/?id=996567

Тынгыр, мынгыр, комсомол (http://erum.ru). Ехари, ехари, (жалобно) аяврик. /народная тунгусская песня/
texnikru
На сайте с 08.04.2008
Offline
57
texnikru
#7

Буквально только-что Платон Щукин прислал решение:

User-Agent: Slurp

Allow: /$

Disallow: /

...мож кому еще пригодиться!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий