Непонятное поведение бота Яндекса...

12
-EX-
На сайте с 07.07.2006
Offline
180
839

Привет всем! Практически каждый день замечаю в логах странное поведение Яндекс бота... Пример:

199.21.99.123 - - [07/Oct/2013:11:26:41 -0400] 200 "GET /robots.txt HTTP/1.1" 514 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
199.21.99.123 - - [07/Oct/2013:11:26:41 -0400] 200 "GET /robots.txt HTTP/1.1" 514 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
199.21.99.123 - - [07/Oct/2013:11:26:43 -0400] "GET / HTTP/1.0" 200 13502 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
199.21.99.123 - - [07/Oct/2013:11:26:43 -0400] 200 "GET / HTTP/1.1" 12726 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
199.21.99.123 - - [07/Oct/2013:11:26:43 -0400] "GET / HTTP/1.0" 200 13502 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
199.21.99.123 - - [07/Oct/2013:11:26:43 -0400] 200 "GET / HTTP/1.1" 12726 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
199.21.99.123 - - [07/Oct/2013:11:26:53 -0400] "GET / HTTP/1.0" 200 13502 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
199.21.99.123 - - [07/Oct/2013:11:26:53 -0400] 200 "GET / HTTP/1.1" 12726 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"
199.21.99.123 - - [07/Oct/2013:11:26:54 -0400] "GET / HTTP/1.0" 200 13502 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
199.21.99.123 - - [07/Oct/2013:11:26:54 -0400] 200 "GET / HTTP/1.1" 12726 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"

И дальше первой странички ни куда не идет...

Домен дроп... В ВебАрхиве есть данные за 2004-2006 года... По тем данным можно только предположить, что он был на паркинге... С контекстом... Т.е. полноценного сайта на нем не было...

Писал Платону и получил стандартный ответ:

После анализа и классификации страниц Вашего сайта наши алгоритмы приняли решение ограничить его в поиске. Обратите внимание, что не все страницы, известные поиску Яндекса, включены в индекс и ранжируются высоко. Их включение и позиция зависят от качества сайта и его контента. На решение алгоритма может оказать влияние использование поискового спама, наличие на сайте страниц предназначенных для робота-индексатора, а не для чтения пользователями, размещение неуникальной информации и др. факторы.

Наше понимание качественных сайтов отражено в следующих документах:
http://help.yandex.ru/webmaster/?id=995298#995342
http://webmaster.ya.ru/replies.xml?item_no=3772
http://webmaster.ya.ru/replies.xml?i...4967&ncrnd=680
http://webmaster.ya.ru/replies.xml?item_no=13533

Мы стараемся настраивать и улучшать алгоритмы поиска так, чтобы сайты, соответствующие этим рекомендациями, быстро и полно индексировались и находились на высоких позициях по релевантным запросам.

Если Вы будете развивать сайт для пользователей, размещать уникальную и полезную информацию и следовать нашим рекомендациям, Ваш сайт со временем обязательно восстановится в поиске.

Подскажите в чем может быть трабл?

С уважением, Андрей aka EX
exarh
На сайте с 28.03.2010
Offline
503
#1
-EX-:
Привет всем! Практически каждый день замечаю в логах странное поведение Яндекс бота... Пример:


И дальше первой странички ни куда не идет...

Домен дроп... В ВебАрхиве есть данные за 2004-2006 года... По тем данным можно только предположить, что он был на паркинге... С контекстом... Т.е. полноценного сайта на нем не было...

Писал Платону и получил стандартный ответ:


Подскажите в чем может быть трабл?

Для дорвеев брали дропы один момент и влезали они как по маслу. Потом Яшка это дело просек, они что то там прижали и ... сейчас тоже лезут нормально, но единицы.

Конечно не думаю что там у них ручная модерация дропов)) Но в алгоритме явно какие то ограничения поставили.

Монетизируй (https://publishers.propellerads.com/#/pub/auth/signUp?ref_id=tnE) свой сайт с выгодой
-EX-
На сайте с 07.07.2006
Offline
180
#2

exarh, понятно... Ступил... Надо было домен проверить перед регистрацией...

У кого-то есть еще соображения?

exarh
На сайте с 28.03.2010
Offline
503
#3
-EX-:
exarh, понятно... Ступил... Надо было домен проверить перед регистрацией...

У кого-то есть еще соображения?

Так в том то и дело,что никак не проверишь, только косвенные признаки. Типа посмотреть по вебархиву, по поисковикам. И то не факт,что угадаешь.

Ловите дропы со страницами в индексе)))

З.Ы. Может и в сайте дело кстати, переделайте попробуйте задолбить платонов письмами, если домен уж очень красивый.

-EX-
На сайте с 07.07.2006
Offline
180
#4

exarh, спасибо... Попробую... Только бы хуже не стало... :)

-EX-
На сайте с 07.07.2006
Offline
180
#5

Вопрос в общем-то остаеться открытым... :) Вот пару свежих строчек из лога:

199.21.99.123 - - [23/Oct/2013:18:49:36 -0400] "GET / HTTP/1.0" 200 10920 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
199.21.99.123 - - [23/Oct/2013:18:49:36 -0400] 200 "GET / HTTP/1.1" 10132 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" "-"

Может кто-то толково ответить на пару вопросов... Зачем бот запрашивает странички сразу в двух стандартах (HTTP/1.0 и HTTP/1.1)? Причем такое не только у главной страницы, но и у некоторых внутренних подобное замечал... И еще вопрос... Почему размер разный?... С HTTP/1.0 получается 10920 байт, а с HTTP/1.1 10132? :) Не откажусь от ссылок... :)

-EX-
На сайте с 07.07.2006
Offline
180
#6

Ни кто не знает?... :)

sear4er
На сайте с 04.03.2010
Offline
756
#7

Всё очевидно. Наследственный АГС. Платон смотрел сайт, но видимо он не достоин нахождения в выдаче. Вот и не выпустил.

Профессиональный SEO аудит с гарантией результата (форум). ( /ru/forum/824674 ) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). ( https://evoseo.ru ) Бесплатные SEO консультации. ( https://evoseo.ru/seo-consultaciya/ )
-EX-
На сайте с 07.07.2006
Offline
180
#8

sear4er, я не об том... :) Просьба смотреть пост #6...

B1
На сайте с 13.12.2012
Offline
28
#9

версии протоколов разные, при HTTP/1.1 скорее всего передаются в ответе сервера заголовки которые не поддерживает версия 1.0. размер учитывает в том числе и заголовки, отсюда скорее всего разница.

sear4er
На сайте с 04.03.2010
Offline
756
#10
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий