Форум Поисковые системы Яндекс

Когда Host из robots.txt начнет учитываться?

1 23
Виталий
На сайте с 04.11.2003
Offline
72
Виталий
#21
Pall:
Нормальный вроде :) На первый взгляд...
Я вот сейчас лазал на robotstxt.org, Почему-то не могу вкурить, как кошернее прописывть папку в роботс - как /folder/ или как /folder
Вроде и так, и так считается правильным, а вот как на самом деле ЛУЧШЕ?

Если у Вас нет файла folder, то без разницы. Если есть (гипотетически), то /folder закроет и его и папку /folder/ .

Я указываю всегда /folder/ , потому что это действительно то что мне надо для решения поставленной задачи. И меня не волнует какие там одноимённые файлы могут появиться в будующем..

Нужно забанить ботов htaccess Яндекс кобласит Упал доход
P
На сайте с 14.03.2003
Offline
150
pablo
#22

У меня еще страннее ситуация с поддоменами.

Есть www.tamboff.ru - вдруг заметил, что проиндексированными держатся 20-30 страниц из 300+.

Оказалось Яндекс индесировал сайт с какими-то странными поддоменами:

forums.tamboff.ru (хотя есть ссылки на forum.tamboff.ru), mage.tamboff.ru (такого домена 3го уровня вообще в природе нет). Днс настроен так, что при открытии несуществующего домена 3го уровня, откроется основной сайт. Чем Яндекс и воспользовался :(

Что сделать с доменом pr5, тиц 90, english site. предложения в личку. Беки: 4 .edu, worldbank.org, bbc.co.uk, www.un.int (www.un.int), washingtonpost.com
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий