SplashS

Может быть вы и правы, но этот бот все равно не выполняет код как браузер.

Я просто хочу сказать топикстартеру, что метатеги изменяемые яваскриптом поисковики индексировать не будут. Для этого краулеру нужно строить DOM страницы, а это очень ресурсоемкая процедура.

Ну вообще похоже на то, что нужно подождать. А если хотите наверняка - сделайте разные robots.txt для ваших двух доменов и там где без www поставьте

При этом site.com/robots.txt должен отдавать 200 статус. А все остальные страницы сайта по прежнему 301.

Да что вы все привязались к поисковикам. Дайте паре-тройке человек прочесть текст. Только чтобы такие, которые честно ответят - какашечный текст или нет и проанализируйте их ответы.

Пишите текст не для пузомерок или Яндекса, а для пользователей.

А если людям текст будет интересен, то и поисковики к вам потянуться :)

Из того что я прочитал по вашей ссылке следует только что боты умеют определять частные случаи редиректа типа

Насколько я понимаю работу поисковиков - выполнять у себя в краулере код - смерти подобно. Ведь в этом случае существует вероятность взлома краулера изнутри.

А чего тут секретного. Есть три основные составляющие - текст, вес и тексты ссылок. К этому разные посковики подмешивают разные фильтры, меняют коэффициенты у этих составляющих. вот и вся разница. Базового никто ничего нового не придумал.

Похоже они единственные в неупакованном виде индекс свой хранят :))

А если серьезно, то про яндекс я пару лет назад слышал, что объем индекса порядка 100 терабайт. Сейчас наверное 200-300.

Я когда-то использовал вот этот ресурс: http://www.morphology.ru/

Делал к нему запросы POST-ом и кэшировал результаты.

Вообще если контент часто меняется, то страницы будут чаще переиндексироваться.

А так - важно, чтобы контент был не какашечным.

Поддерживаю. Опять же по причине алгоритмов склейки. Краулеру по барабану какой урл.