Особенности национальной РоботоТехники

С хостингами и региональными доменами у Яндекса особые отношения.

Остальных же рассматривают как единый сайт, и санкции, обычно, накладываются на основной домен и его поддомены разом.

Поинтересуйтесь у Платонов. Вообще-то, после полного выпадения из индекса 1-info.ru, отрицать возможность бана и сидеть сложа руки несколько нелогично. ;)

Эх, заранее "соболезную", если сюда сегодня вечером заглянет товарищ BigBrother. :)

Не поделитесь опытом - по каким адресам до них (Платонов) больше шансов достучаться?

Надежнее всего - через форму обратной связи:

http://feedback.yandex.ru/?from=webmaster

На заявки, посланные по обычной Е-почте, они почему-то значительно хуже отвечают.

Странная тема вообще то. Думаю должно быть понятно что иконки для сайта, роботс, и прочие нечасто меняющиеся вещи Яшка может пересчитывать и перечитывать нечасто. Учет тоже естественно не мгновенно происходит. Если бы с момента правки и индексации роботса прошла неделя а робот все еще бегал - это было бы поводом для беспокойства, а немгновенный учет - что же тут удивительного? Очередь уже сформирована :). Другое дело совпадение ожидания и прихода, тоже не сильно удевительно. Солнце всходит как раз утром, когда этого сильно ждешь :):) По поводу же нелюбви к форумам - есть такое. Боты в профайлах, будь они неладны... :(

Я не понял, неделя - это срок, прописанный в стандарте файла robots.txt на его принятие к исполнению роботами? Что-то я там такого не встречал :)

Согласен, не всегда хорошо получается, работаем над этим...

Жаль, сейчас не могу конкретный случай посмотреть - хотя и понимаю, почему скорее всего именно так произошло.

Да это wolf'a какие-то черти не в ту степь "качать права" понесли. :D

Форумы Яндекс полюбит не скоро, но индексировать их тоже как-то надо. Есть несколько "трюков", которые позволяют сдвинуть процесс с мертвой точки, но и они не всегда срабатывают. Можно ждать месяцами, можно заваливать Платонов письмами - но это долго, и не всегда принесет удовлетворительный результат.

Первопричина проблемы - не недостатки ПС Яндекс, а современные форумные движки как класс. Одно только море внутренних ссылок с 301-м редиректом (!) спугнет любого здравомыслящего Паука. Но, если ткнуть робота носом 10000 раз в страницы с уникальным контентом (в разрезе форума - это отдельные посты), через некоторое время Паук перестает бояться, и дальше роется по форуму уже без "подсказок".

К сожалению, в частных случаях задача преодоления группы фильтров, препятствующих начальной индексации форума, превращается в нетривиальную.

"Выпавший" кусок очереди на индексацию непосредственно после запрета индексации, а также успешно продолжающаяся индексация форума на новом месте дают основания считать, что локализованная часть очереди попадала в "песочницу". Яндекс всегда знал о существовании страниц, но просто _не_хотел_ их индексировать.

По логам видно, что robots.txt был прочитан с хоста с IP отличным от IP основного робота-индексатора. Так как Яндекс - это распределенная вычислительная сеть, сложилась ситуация, когда фильтры были сброшены раньше, чем "вычищена" очередь по изменениям в robots.

Мне тоже почти понятны - свою точку зрения высказал в предыдущем посте.

Пару слов в защиту Яндекса и "хозяйства" BigBrother: WebAlta, в тот же день, разогналась настолько (увидев новый домен), что почти _сутки_ не проверяла изменений в robots.txt =)

Неделя? нет конечно. Так. Время моего терпения :):)