Есть примеры и под 200К, получается все в разных условиях?
Адреса страниц не переделывали, в этом случае действительно Moved Permanently пришлась бы кстати. Ситуация возникла когда пришлось одномоментно удалить устаревшую информацию, где-то около 20К. Роботс не поможет, повторюсь.
Дело в том, что Яндекс начал неохотно индексировать новые страницы, вот у меня и возникла мысль помочь ему "разгрузиться". Раньше он просто тысячами их глотал. Не знаю с чем это связано, есть какой-то лимит проиндексированных страниц, так сказать критическая масса для отдельно взятого сайта? В общем не знаю, насколько эта теория верна. Кроме того, ситуация когда пользователь видит 404, тоже не есть гут, хоть она (ошибка 404) и выдается правильно, с формой поиска по сайту.
Это было бы слишком просто, придется эмулировать браузер :) Спасибо.
Да, собственно, и нет желания заспамить эту форму. Вопрос в том, применят ли санкции за автоматическое обращение. Определить, что обращаются не из браузера, думаю, не составит труда.
Уж больно грозно выглядит http://company.yandex.ru/i/ch1.jpg
Это уже проверено? Мне кажется неправильно, не можем прочесть robots.txt - запретить сайт к индексации.
Аналогично. На первой странице проиндексированные 4-8 часов назад, на второй странице индекс от 30.08.2006. В течении недели ходит по одним и тем же адресам (переиндексирует). Общее число проиндексированных страниц колеблется то в большую, то в меньшую сторону.
Добавьте свой robots.txt в форму http://webmaster.yandex.ru, если проглотит, значит все нормально.
тиц подрос до 600,
предлагаю еще 3 сайта
тиц 350, pr 2
тиц 250, pr 3, ЯК web-дизайн
тиц 250, pr 3
