Сайт вылетел из индекса. В жизни не покупали ссылок..

Хостера поменять. И убрать из robots.txt строки

User-agent: *

Disallow: /

BigMaK,

Уже убрали строчки ;)

Ок, будем ждать, спасибо.

TheEgoist, так от покупки ссылок вроде не улетают, а влетают еще как)

Снова я, прошло 2 дня, странная картина, роботс еще тогда изменили, проверяем индекс по:

http://yandex.ru/yandsearch?surl=mmoworld.info&pag=u&numdoc=50&rd=0&lr=213

Сюда иногда влетают шлаковые страницы, например профиль какого-то пользователя, но через максимум час там снова пусто, что это может значить?

ЗЫ Платон так и не ответил..

Эгоист, Вас ввели в заблуждение.

Ваш Роботс.тхт (который дал хостер) абсолютно правильный, для Яндекса ничего не запрещает - можете проверить его прямо в Яндексе.

Причина в чем-то другом, посмотрите логи - заходит ли робот Яндекса. Поиск по строке "Yandex/".

Потеребите хостера - нонче у хостеров стало модно банить роботов Яндекса.

Если хостер не банил ботов - пишите Платонам.

PS: роботс от хостера - достаточно грамотный, запрещает всю ненужную "шелуху". Но если нужен трафик или сервисы с bing|yahoo|webalta - их надо прописать тоже, в отдельные секции.

Секцию Mediapartners-Google можно не прописывать робот-рекламщик Адсенса (как и Бегуна и Директа) - robots.txt вообще не читают по определению.

А нам не смешно, грустно :(

Я слышал, что за это еще и под фильтр кидают, поэтому не покупаем ссылки..

TheEgoist добавил 26.03.2010 в 14:50

Ну раз в индекс попадают страницы, значит заходит, только вот сразу почти вылетают, что это значит?

Да и Платон вроде может годами не отвечать, ну судя по другим темам.

TheEgoist добавил 26.03.2010 в 14:52

Хм, а как узнать IP ботов яндекса, простите за глупый вопрос конечно..

Вопрос абсолютно нормальный, пока гигабайты логов не перелопатишь. На то он и форум, не может каждый знать и замечать абсолютно всё.

Роботов нужно определять не по IP, а по UserAgent:

их много разных, но все начинаются на "Yandex/", поэтому делайте поиск по этой строке.

Если сайт забанен Яндексом - его роботы все-равно ходят. Если роботов забанил хостер - их в логах не будет.

IP подсетей Яндекса тоже могу слить, но не в паблик :), только у Яндекса есть ещё роботы-иммитаторы - они ходят не с Яндексовских IP, а с Корбины, Комстара и ещё одного Московского провайдера.

И не подписываются они не Яндексовским UserAgent-ом :) клоакинг по IP обречён, если его не сделать с умом.

Ladycharm добавил 26.03.2010 в 15:37

В общем, наличие страниц в индексе проверяется этим запросом (или без www)

Но судя по этому - сайт не в бане. Нажмите "ещё с сайта" - увидите, что в кэше индекса есть 428 страниц, напрягает то, что на большинстве - предупреждения mysql:

Warning: mysql_numrows() expects parameter 1 to be resource и

Warning: Division by zero in /home/mmoworld/public_html/game_info.php on line 170

Страница http://www.mmoworld.ru/user_info.php?id=24 вообще не открывается - у Вас, похоже, сломался движок сайта (или хостинг сильно перегружен) и не отдает страницы, вот Яндекс их и выплевывает.

http://www.mmoworld.ru/game_info/?id=53 у меня тоже не открылась, а в кэше Яндекса она есть.

Может Вас ДДОСят?

Смотрите логи сайта.

У ТС доменная зона инфо, но похоже это мало кого волнует, даже самого ТС.

ммоворлд.ру - ГС конкурентов, хотя конкурентами их назвать сложно, наш СДЛ на .инфо домене.

Так каков вердикт? Роботс был 100% не при чем? Тогда причин не вижу, хостер, я думаю, не настолько глуп, чтобы забанить яндекс-бота, его за это по головке никто не погладит.

TheEgoist добавил 26.03.2010 в 16:16

В каком смысле? Когда я создавал сайт, меня это не волновало, но недавно узнал, что на инфо делают в основном сателлиты, тогда задумался, но мне сказали у меня более-менее трастовый домен и нет шансов попасть в бан, однако, похоже, что все-таки они были :(

TheEgoist добавил 26.03.2010 в 16:19

Интересует, что бы Вы, ув. участники делали бы на моем месте, просто не знаю что бы мне предпринять, Платону написал, я так понял мне ответили стандартной фразой, скорее всего робот и заявкой никто заниматься не будет..

Что делать?