robots - запрет индексации ?

WhiteFalke
На сайте с 16.09.2007
Offline
184
494

Добрый день.

Смысл такой, запретить к индексации весь сайт, кроме главной страницы.

И какой запрос необходимо будет прописать в панеле яндекс.вебмастер для того что бы эти страницы удалились из него?

Королёва
На сайте с 18.01.2008
Offline
2
#1
WhiteFalke:
Смысл такой, запретить к индексации весь сайт, кроме главной страницы.
User-agent: Yandex
Allow: index.html
Disallow: /

Вроде так.

Почитать можно тут.

Голова нужна, чтобы думать. А еще я туда кушаю...
kimberlit
На сайте с 13.03.2007
Offline
370
#2

Если страницы динамические и используется файл index.php (например, index.php?id=123),

то нужно ещё $ добавить ...


User-agent: Yandex
Allow: index.php$
Disallow: /
WhiteFalke
На сайте с 16.09.2007
Offline
184
#3
kimberlit:
Если страницы динамические и используется файл index.php (например, index.php?id=123),
то нужно ещё $ добавить ...

Страницы в первоначальном виде - динамические, но используется ЧПУ

DyaDya
На сайте с 11.04.2007
Offline
147
#4

Правильно будет похоже так (с учетом расширений http://help.yandex.ru/webmaster/?id=996567):


User-agent: Yandex
Allow: /$
Disallow: /
# должно запрещать скачивать всего, кроме страниц начинающихся с '/'
Если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Удалить, http://webmaster.yandex.ru/delurl.xml, можно целыми каталогами, если сработает.

Либо программку написать, чтобы сразу пачками грузить urlы и в http://webmaster.yandex.ru/delurl.xml.

Выбирайте качественный хостинг (http://vashmaster.ru/informaciya/o_poleznyh_programmah/news83.php) и продвигайте сайты в СЕОПУЛЬТ (http://seopult.ru/ref.php?ref=72b5ed9561fe66a1). А на «SAPE» я в обиде :) Не упрекайте за очепятки, пишу вслепую (http://ergosolo.ru/) и также делаю сайты (http://www.vashmaster.ru/) ;)
6666
На сайте с 10.01.2005
Offline
505
#5

Королёва, если не знаете, то не пишите. Роботс только запрещает. Команды allow нету.

А.. тут все трое умные в топике... (((

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .
Talisman13
На сайте с 20.01.2007
Offline
211
#6
6666:
Королёва, если не знаете, то не пишите. Роботс только запрещает. Команды allow нету.

А.. тут все трое умные в топике... (((

Вы не правы. Прочитайте как раз ту ссылку.

Вот цитата:

"Примечание:

Недопустимо наличие пустых переводов строки между директивами 'User-agent' и 'Disallow' ('Allow'), а также между самими 'Disallow' ('Allow') директивами.

Кроме того, в соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.

Символ '#' предназначен для описания комментариев. Все, что находится после этого символа и до первого перевода строки не учитывается.

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры:

User-agent: Yandex

Allow: /cgi-bin

Disallow: /

# запрещает скачивать все, кроме страниц начинающихся с '/cgi-bin'"

Вот ссылка: http://help.yandex.ru/webmaster/?id=996567#996571

DyaDya
На сайте с 11.04.2007
Offline
147
#7
6666:
Команды allow нету

отлично сказано!

Похоже вот это http://help.yandex.ru/webmaster/?id=996567 на яшке пишут те, кто не знают как работают их роботы!

6666, если несложно, то можно прокоментировать ваш же ответ ;)

Королёва
На сайте с 18.01.2008
Offline
2
#8
6666:
Королёва, если не знаете, то не пишите. Роботс только запрещает. Команды allow нету.

6666, отстали от жизни? Бывает...

DyaDya:
6666, если несложно, то можно прокоментировать ваш же ответ

Посмотрим, посмотрим... Хватит ли мужества у 6666 расписаться в своем незнании. :)

6666
На сайте с 10.01.2005
Offline
505
#9

Королёва, отстал, отстал. )))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий