Форум Поисковые системы Яндекс

Подскажите по файлу robots.txt

[Удален]
652

Подскажите пожалуйста правильный файл robots.txt для форума на vbulletin, что бы Яндекс, так сказать, не индексировал всякие там календари и т.п. - в общем то, что одинаковое для всех форумов на этом движке вне зависимости от контента.

[Удален]
#1

Рассказываю технологию). Ищем популярный форум на vbulletin. Идем в сервис be1.ru. Вводим его URL, получаем результаты, пролистываем в низ и смотрим на его robots

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#2
plamar:
Рассказываю технологию). Ищем популярный форум на vbulletin. Идем в сервис be1.ru. Вводим его URL, получаем результаты, пролистываем в низ и смотрим на его robots

А не проще открыть ... http://site.ru/robots.txt

pan
На сайте с 24.10.2004
Offline
164
pan
#3

:)

Мебельные фабрики Екатеринбурга (http://www.mebel66.ru/catalog/producers/) Дачный ГС жены (http://www.nafazendu.ru) Нет темы для бизнеса ? - да эта тема под ногами (http://www.uralstroyportal.ru/modules/forum/t1674.html)
01
На сайте с 04.04.2010
Offline
1
0n1inepay
#4

А если у этого форума нет robots.txt или он прописан не так как требуется ТС?!

На самом деле по robots.txt есть много документации и создать его самому не сложно. Где взять готовый - не знаю.

H
На сайте с 16.12.2009
Offline
5
ham
#5

на какаом-то форуме встречал рекомендации между последним диссалоу и хост вставлять Disallow: без указания папки

типа тогда весь роботс яшей учитывается правильно, а то у меня яша выборочно его воспринимает

кто подскажет: это лажа или не совсем ?

Demotix
На сайте с 01.01.2009
Offline
142
Demotix
#6

http://help.yandex.ru/webmaster/?id=996567 вот здесь все написано. Или читать лень?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#7
ham:
а то у меня яша выборочно его воспринимает

Отдельная секция категорически отвергается дабы не перегружать и без того тяжёлый вес файла?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий