AndyWarhol, я в последнее время новых проектов не запускал, поэтому по своим сайтам сказать не могу. Но сдается мне, что Яндекс с некоторого времени вообще плохо новые сайты индексирует.
Вы попробуйте создать новую тему на форуме, типа "У кого-нибудь новые сайты появились в индексе?". Это, в некотором роде, прояснит вам ситуацию.
AndyWarhol: он в течении одного дня появлялся в поисковой выдаче, а потом опять пропал
Это был быстроробот. А сайт в индекс не попал.
AndyWarhol: Я думал что robot.txt не нужен если ничего не надо запрещать индексировать?
Думаю, что в данном случае алгоритмы Яндекса не совсем правы, поскольку только веб-мастеру решать, какие элементы жизненно важные для сайта, а какие нет.
Например, огромная тяжеловесная интерактивная схема проезда.
С другой стороны, только алгоритмам Яндекса решать, что включать в индекс, а что нет. И Яндекс не хочет переделывать алгоритмы из-за одного вашего сайта.
Получается тупик.
P.S. Можно попробовать вынести схему на отдельную страницу. Хотя, тогда это не будет уже так круто. :)
Artisan: как раз для этого был сделан фильтр ты последний, кого этот фильтр еще не задел не радуйтесь потому что колокол звонит по всем.
А как-же тогда с новостями? Одна и та же новость в течение одного рабочего дня появляется на десятках новостных ресурсов. Причем, практически слово в слово. И уже только потом в Яндекс-новостях (не успевает RSS обрабатывать с такой скоростью :) ).
Как здесь определять, кто был первый?
А интернет-магазины, во многих из них описания товаров с точностью совпадают.
Неужели разработчикам фильтра приходится настраивать фильтр вручную под каждый новостной ресурс или интренет магазин?
В таком случае, само существование такого фильтра ставится под сомнение. Не "утка" ли это?
revolution: Видел много сайтов ключи пишут без запятых, какие соображения?
revolution, если общеизвестно, что meta-keywords основные российские поисковики не читают, не видят, и не учитывают, то какая разница, как вы напишите, через запятую или через пробел? Можете вообще туда вместо ключевиков написать что хотите, хоть галиматью какую, эффект будет одинаковый.
Андрюха: Я понимаю, что вся информация касающая алогритма находиться под грифом "ИКС".
Андрюха, нет никакого грифа Х.
Почитайте форум за последние несколько дней, проанализируйте. Или вы хотите, чтобы кто-нибудь для вас в рабочее время составил дайджест сообщений и тем форума?
XTR, замечательный материал, один из самых интересных (если не самый интересный ;) ), что встречал на форуме.
Кроме того, приятно было узнать, что в Яндексе работают нормальные и доброжелательные люди, а совсем не "злобные дядьки с Яндекса". Даже на душе легче стало. :)
vitaliy11, можно только гадать, почему активность бота снизилась.
Хотя, такие вещи уже были: в позапрошлом году робот был вообще отключен на месяц, во время проведения чемпионата по поиску в и-нете. На всё есть своя причина.
AndyWarhol, я в последнее время новых проектов не запускал, поэтому по своим сайтам сказать не могу. Но сдается мне, что Яндекс с некоторого времени вообще плохо новые сайты индексирует.
Вы попробуйте создать новую тему на форуме, типа "У кого-нибудь новые сайты появились в индексе?". Это, в некотором роде, прояснит вам ситуацию.
он в течении одного дня появлялся в поисковой выдаче, а потом опять пропал
Это был быстроробот. А сайт в индекс не попал.
Я думал что robot.txt не нужен если ничего не надо запрещать индексировать?
Так и есть.
Учитывая то, что последнюю неделю бот Яндекса практически не ходит, можно еще ждать долго.
Думаю, что в данном случае алгоритмы Яндекса не совсем правы, поскольку только веб-мастеру решать, какие элементы жизненно важные для сайта, а какие нет.
Например, огромная тяжеловесная интерактивная схема проезда.
С другой стороны, только алгоритмам Яндекса решать, что включать в индекс, а что нет. И Яндекс не хочет переделывать алгоритмы из-за одного вашего сайта.
Получается тупик.
P.S. Можно попробовать вынести схему на отдельную страницу. Хотя, тогда это не будет уже так круто. :)
как раз для этого был сделан фильтр ты последний, кого этот фильтр еще не задел не радуйтесь потому что колокол звонит по всем.
А как-же тогда с новостями? Одна и та же новость в течение одного рабочего дня появляется на десятках новостных ресурсов. Причем, практически слово в слово. И уже только потом в Яндекс-новостях (не успевает RSS обрабатывать с такой скоростью :) ).
Как здесь определять, кто был первый?
А интернет-магазины, во многих из них описания товаров с точностью совпадают.
Неужели разработчикам фильтра приходится настраивать фильтр вручную под каждый новостной ресурс или интренет магазин?
В таком случае, само существование такого фильтра ставится под сомнение. Не "утка" ли это?
Видел много сайтов ключи пишут без запятых, какие соображения?
revolution, если общеизвестно, что meta-keywords основные российские поисковики не читают, не видят, и не учитывают, то какая разница, как вы напишите, через запятую или через пробел? Можете вообще туда вместо ключевиков написать что хотите, хоть галиматью какую, эффект будет одинаковый.
Я понимаю, что вся информация касающая алогритма находиться под грифом "ИКС".
Андрюха, нет никакого грифа Х.
Почитайте форум за последние несколько дней, проанализируйте. Или вы хотите, чтобы кто-нибудь для вас в рабочее время составил дайджест сообщений и тем форума?
XTR, замечательный материал, один из самых интересных (если не самый интересный ;) ), что встречал на форуме.
Кроме того, приятно было узнать, что в Яндексе работают нормальные и доброжелательные люди, а совсем не "злобные дядьки с Яндекса". Даже на душе легче стало. :)
Хотя, я, конечно, где-то подозревал, что это так.
vitaliy11, можно только гадать, почему активность бота снизилась.
Хотя, такие вещи уже были: в позапрошлом году робот был вообще отключен на месяц, во время проведения чемпионата по поиску в и-нете. На всё есть своя причина.
Да действительно, последний месяц Яндекс-бот стал ходить реже. Причем, намного реже.
Но на нахождение подконтрольных сайтов в серпе это никак не влияет.
Гугл тот почти каждый день заходит
А вот уж как заходит Slurp, так что просто достал. :)
На днях разозлился и поставил в robots.txt:
Crawl-delay: 60
"Научитесь любить свой проект".
Не помню сейчас, кто это сказал, на сам всегда стараюсь следовать этим словам.