Robots

225

Angel OSHQ.cc

5 октября 2012, 19:36

420

Вопрос таков, есть сайт новостной тематики, там есть robots.txt

шаблон такой

User-agent: Yandex

тут дисалоу на дубли

Host: sitename.ru

User-agent: Googlebot

также дисаловы на дубли

и в конце вот такое robots.txt

User-agent: *

Disallow: /

Может яндекс выкинуть за такое ? после этого апа в интексе ру сегмента яндекса сайта вообще нету, в yandex.com находит около 40 страниц из 9 тыс.

Кто, что может сказать ?

p/s была внутренняя перелинковка, ссылки в тексте новости ..

Спасибо за ответы.

Безлимитный хостинг ( https://oshq.cc/unlimhost.html ) в NL от 0.5$. Аренда серверов во Франции ( https://oshq.cc/serverf.html ) от (15 евро)

73

Vumnik

6 октября 2012, 03:57

#1

Конкретные User-agent перебивают общие, т.е. здесь в яндексе и гугле сайт открыт, а для остальных поисковиков - закрыт полностью.

1

225

Angel OSHQ.cc

6 октября 2012, 07:03

#2

Vumnik:
Конкретные User-agent перебивают общие, т.е. здесь в яндексе и гугле сайт открыт, а для остальных поисковиков - закрыт полностью.

После удаления запрета, яндекс сегодня вернул две страницы в индекс главную и страницу 2 уровня с видео.

Можно считать это АГС или фильтр ? Также была внутренняя перелинковка я ее убрал, возможно что домен молодой и из-за этого фильтр ?

яндекс банит после добавления Это АГС или нет? Молодой сайт вылетел из