dimok, alltheweb.com обслуживается роботом Яху, так что 88к -- это аппетиты Slurp.
Интересна еще статистика msnbot и StackRambler.
Вынос разделов на поддомены не решит проблему для Яндекса, как для Google?
Главную индексировать будут, а все страницы www.site.ru/index.php?action=... -- нет, потому что строка Disallow: /index.php запрещает индексацию всего, что начинается с /index.php
Polite Moose, остаюсь при своих, проверяю сам то, что можно относительно быстро проверить.
Будут результаты -- стукнусь в личку с примерами.
302-й редирект, кстати, лучше не использовать, есть там некоторые моменты, особенно в Гугле.
Нет, Антон, лично мы, к сожалению, не знакомы, но на "ты" можно запросто 🚬
Немного порылся по форуму, вот некоторые темы, только оговорюсь сразу, что все течет, все меняется, что-то уже может быть совсем не так, как указывалось:
/ru/forum/10592 - смотрим пост Interitus о том, что по редиректам передается PR (не могу разобраться, как поставить якорь, чтобы сразу скроллировало на нужное сообщение);
/ru/forum/12566 - пост Alex Kirillin, что учитывается текст ссылок при зеркалировании редиректом, еще чуть ниже слова melkov, что в Яндексе зеркала учитываются, но смысл поста мне не совсем ясен в контексте редиректа.
Нашел еще несколько интересных тем, но там не про редирект.
Да, такие каталоги я со счетов не сбрасываю, хотя приоритет у них самый низкий.
Polite Moose, Вы, насколько я понял, противник редиректов, поэтому Ваши советы довольно категоричны.
Я же считаю, что редиректы в случаях с зеркалами полезны, может быть даже полезнее директивы Host: в robots.txt, поскольку работают не только в Яндексе, а вероятность неправильного составления robots.txt довольно высока, особенно в свете некорректных примеров в разделе помощи того же Яндекса.
Да и влияние текста ссылок и весовые факторы через редиректы передаются, правда не во всех поисковиках.
Хотя со старта, тут я с Вами полностью согласен, лучше сразу выбрать один из вариантов адреса и придерживаться только его, как во внешних, так и во внутренних ссылках.
Artisan, возможно вы имеете в виду results prefetching, так это работает только в связке Google+Mozilla.
Я немного ковырялся в теории, но на практике с этим механизмом не сталкивался.
Polite Moose, сталкивался со случаем, когда на безошибочный robots.txt зеркальщик Яндекса не обращал никакого внимания.
Как в этом случае советовали бы поступить?
И как быть со всеми остальными ПС, которые не обращают никакого внимания на директиву Host, если не хуже?
Mona, три года назад, Киев, Приватбанк, приватовский аналог Visa Classic, для открытия нужны были паспорт и идентификационный код, все.
Это ловушка для невежливых роботов, в которую вы попались.
Придется подождать 2-3 часа, потом отпустит автоматически.
Update: опоздал немного. ;)
tester999, только потом половина лог-анализаторов затыкаться будет на нестандартном формате :(
