Что должно быть? да все по возможности.
Правильные заголовки в хедере,
Динамические метатеги, у каждой страницы должны быть свои ключевики, титл и дескрипшен.
Заголовки на страницах должны выделяться правильно - тегами <H*> ,
а не <div id="title">.
По возможности ЧПУ , но это сейчас уже помоему не так важно.
КМС не должна генерировать дублирующие ссылки, тоесть когда на 1 и ту же страницу могут вести совершенно разные ссылки, например mambo/joomla этим грешит.
Правильный html проходящий валидацию, или хотябы не должно быть hardcode , чтобы представление данных зависело исключительно от вебмастера.
но ведь это субдомены, они восприймутся как другие сайты просто
Люди ну вы чего, тут кто нибудь читает, то что написано изначально?
Где речь идет о том чтобы банить яднекс специально или еще какието меры предпринимать?
seoshnic, Защита эта в движке стоит изначально, не вырезать же ее. И что плохого в том что предусмотрены разные виды защит на сайте?
Да, вы правы, на многих сайтах вообще никаких защит нету, потом и возникают вопросы тут же на форуме, помогите форум или гостевую спамят...
Просто так получилось что эта защита срабатывает подчеркиваю ТОЛЬКО на яндекс, другие боты ходят свободно, почему так? почему именно яндекс ?
И здесь я высказал мысль о его возможно агрессивном поведении на сервере, т.к. уже слышал об этом, что робот яндекса порой забивает канал при индексации если очень много страниц. Вы у них в факе посмотрите что написано в ответ на вопрос "Яндекс робот перегружает мой сервер" - они осторумно советуют запретить его в robots.txt
В гонках за индексом они ложить хотели и на сайты и на сервера, им размер индекса важен и окультуривать поведение своих роботов они не собираются, как вы правильно заметили без чьего либо сайта они проживут, а вот сайт без них...
maximumx, да у меня все хорошо пока, но хочу быть готовым к тому что все может измениться, поэтому и задал вопрос.
А говорить здесь есть о чем, если у Вас есть мысль по этому поводу - почему срабатывает только на Яндекс, а на другие роботы нет, то с радостью выслушаю если вам это интересно. Если нет, то действительно говорить не о чем, для обсуждения качества моих страниц я создам отдельный топик если потребуется.
Немного забавляет меня система репутации на форуме и отношение участников к этой забавной игрушке :)
Что такого тупого было в моем вопросе, что мне минусы лепят ?
Или тут чтобы репутация росла, нужно с умным видом надувать щеки и делать вид что ты Гуру?
Страницы у меня правильные и нагрузок не дают лишних, можно сказать оптимизированы вообще по самое немогу, прежде чем запустить сайт, скрипты год обтачивались на локалке и тестировались на нагрузки.
Нагрузку можно создать на любой странице посылая слишком частый GET запрос к ней, именно так и делается DOS атака на сервер. Именно от таких случаев и предусмотрена защита, за слишком частые и продолжительные GET запросы с одного IP, происходит временный бан на 3 минуты.
Конечно усилий яндекса для этого недостаточно, но своим агрессивным индексированием он может создать проблемы сайту если у него высокая посещаемость и сервер работает на пределе, в таких случаях нельзя исключать и падения mySql базы сайта.
Меня пока это не касается тк. народу в день всего по 50 уников, просто уменьшил параметры чувствительности, сегодня смотрю уже нету бана, яндекс гулял свободно.
На форуме яндекса кстати звучали подобные вопросы тоже.
ООО с 10 страницами прошла и эта часть карты, значит дело в размере получается.
действительно странно, я аж туда не прокручивал, но валидация проходит, да и ошбику гугля указывает что сеть недоступна. Если бы на всю карту то еще бы можно было списать на недоступность сети для какого то из серверов гугли. А так только часть.
Попробую лимит поставить на 100 страниц, схавает или нет.
PS странно что они были вообще - ссылки, установил лимит в sql запросе на 10 страниц , ссылко вообще нету, да и на других страницах их нет все текстом.
mustofik, пасиба, я там уже целый вечер торчу, пока ненашел ответа на свой вопрос.
Хм, это загадка.
Чуть больше месяца назад запустил сайт, добавил в мету, с тех пор регулярно ходит индексирует.
Траф у меня с него идет как с гугли и яндекса вместе взятый.
Хотя сайту мало еще времени, чтобы делать выводы.
Интересно было бы тоже о нем побольше узнать
a.fatman, да уж, но для этого популярного браузера есть свойство замечательное, позволяющее ускорить загрузку сложной таблицы.
<table style="table-layout:fixed">
