В правилах только:
- перенаправление на www
- избавлению от дубля морды (перенаправление c index.html на /)
Заголовки можно смотреть плагинами, я пользуюсь FF + http://livehttpheaders.mozdev.org/installation.html
Экий вы ортодокс. По мне - надо искать самый простой (дешевый) способ.
tablechka, тогда смотреть .htaccess
файлы хтмл не должны отдавать ничего кроме 200
И смотрели ли вы заголовки, которые отдают страницы?
vois, джумла, тем более старая версия - это криво.
Соответственно и решения будут в дальнейшем, в основном кривые.
Один из способов различить ботов и реальных людей - js.
т.е. можно прописать при загрузке страницы обращение js к спец. файлу, что позволит ставить нужную метку.
Чтобы было не просто потрындеть, нужно обсуждать реальные меры по саморегулированию отрасли "интернет-торговля".
Ну уж если у банков и проч. предпринимателей мало что получается, то в интернете тем более надеятся не на что. По крайней мере пока. Так что - трата времени, если нет реальных предложений.
Это движок надо ковырять и смотреть какой контент и какие заголовки отдает каждый урл.
А внутренних переходов не существует?
обычно прописывание доп. поля на js избавляет от такого мусора
Это все индивидуально.
У вас, наверное, вообще мозг сломается, если вы узнаете, что на сайте могут быть несколько тематик ))
И, соответственно, трафик по каждой из них...
