Яндекс ругается на robots.txt

A0
На сайте с 20.02.2009
Offline
127
1010

Здравствуйте. неделю назад при правке robots.txt была допущена ошибка :


Disallow: /*#comment

В результате чего яндекс посчитал закрытым от индексации весь сайт, ошибка была исправлена, успешно вернулись в гугл, а вот яндекс выкинул почти все страницы с этого апа, а сегодня в качестве сюрприза подарил еще такое сообщение:

Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt .

Что интересно роботс привели в порядок больше недели назад, но яшка продолжает любить мозг!

Помогите найти решение или объяснение такому поведению робота Яндекса.

Slavietto
На сайте с 28.06.2009
Offline
76
#1
arselor07:
Здравствуйте. неделю назад при правке robots.txt была допущена ошибка :

В результате чего яндекс посчитал закрытым от индексации весь сайт, ошибка была исправлена, успешно вернулись в гугл, а вот яндекс выкинул почти все страницы с этого апа, а сегодня в качестве сюрприза подарил еще такое сообщение:

Что интересно роботс привели в порядок больше недели назад, но яшка продолжает любить мозг!
Помогите найти решение или объяснение такому поведению робота Яндекса.

Нужно теперь время, чтобы Яндекс пришел в себя :)

На будущее, если Вы используете webmaster.yandex.ru, в настройках сайта, есть закдака "Настройка индексирования", а дальше "Анализ robots.txt". После каждых изменений robots.txt нужно смотреть результат, как Яндекс понял Ваши пожелания.

kimberlit
На сайте с 13.03.2007
Offline
370
#2

Почитай про #. Всё станет ясно.

K
На сайте с 31.01.2001
Offline
737
#3
arselor07:
больше недели назад

Это просто мгновение для сервиса Яндекс.Вебмастер. Привыкайте уже.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
A0
На сайте с 20.02.2009
Offline
127
#4

Но ведь ушли из индекса почти все страницы + ко всему мы потеряли траст ( может же быть такое что траст просел из-за снятия с индексации 90% страниц?

И как можно повлиять на яндексоидов дабы ускорить возвращение былого уровня уважения от этой ПС?

arselor07 добавил 12.10.2011 в 22:39

kimberlit:
Почитай про #. Всё станет ясно.

Объясните пожалуйста своими словами если можно так как не могу найти конкретной информации по #

K
На сайте с 31.01.2001
Offline
737
#5
arselor07:
так как не могу найти конкретной информации по #

1) Во всех URL все, что начинается с # отбрасывается. Такого символа в адресах HTTP-документов не бывает. Найдите RFC про HTTP.

2) В файле robots.txt # - это символ для комментариев. Откройте, наконец, FAQ раздела для новичков.

A0
На сайте с 20.02.2009
Offline
127
#6
Kost:
1) Во всех URL все, что начинается с # отбрасывается. Такого символа в адресах HTTP-документов не бывает. Найдите RFC про HTTP.
2) В файле robots.txt # - это символ для комментариев. Откройте, наконец, FAQ раздела для новичков.

Изначально и стояла цель запретить все левые страницы с коментариями от индексации, но получилось так что такой формат явился нарушением и гугл и яндекс посчитали что роботс закрыл все страницы.

K
На сайте с 31.01.2001
Offline
737
#7

Цель понятна. Но вот вам мало что понятно. Это понятно.

И понятно, что вы не собираетесь изучать матчасть.

A0
На сайте с 20.02.2009
Offline
127
#8

ДА все я прекрасно понял!

Спасибо/

Filan
На сайте с 26.05.2011
Offline
119
#9
Kost:
Это просто мгновение для сервиса Яндекс.Вебмастер. Привыкайте уже.

Это точно😂😂😂

arselor07, поможет только время! пару апов и страницы начнут появляться.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий