Просто смешная ошибка такой уважающей себя конторы

12
SilverMaster
На сайте с 08.10.2003
Offline
217
1443

Сегодня на сайте просел трафик с яндекса.

-30к в сутки.

Ну, скажем так, яндекс для нас далеко не топ реферал, но решили разобраться в чем дело.

ОКАЗЫВАЕТСЯ:

Мы давно откидываем запросы левых роботов, потому как нагрузку они создают бешеную.

Основываясь на рекомендациях яндекса http://help.yandex.com/search/?id=1112029

мы резолвили IP роботов яндекса по признаку "ending in 'yandex'ru'."

Но кто же мог подумать, что яндекс вдруг решит, что хватит быть yandex.ru, надо быть

105.99.21.199.in-addr.arpa domain name pointer spider-199-21-99-105.yandex.com.

Кстати, в хелпе до сих пор висит "ending in 'yandex'ru'."

Представляю сколько контента не дополучил в индекс поисковик. :(

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла
paveldvlip
На сайте с 16.01.2007
Offline
155
#1

По юзерагенту нужно робота определять, а не по IP. http://help.yandex.ru/webmaster/?id=995329

http://help.yandex.ru/webmaster/?id=1076102

TopSite (/ru/forum/comment/15645635) - программа определения позиций сайта, массовой проверки всех видов частотности, сбора позиций конкурентов и кластеризации запросов. HTML-отчёты.
SilverMaster
На сайте с 08.10.2003
Offline
217
#2
paveldvlip:
По юзерагенту нужно робота определять, а не по IP. http://help.yandex.ru/webmaster/?id=995329
http://help.yandex.ru/webmaster/?id=1076102

Вы удивитесь наверное, но юзерагент подделать можно очень просто.

Показать примеры на пальцах? Или вы сами поймете что сказали глупость?

di_max
На сайте с 27.12.2006
Offline
262
#3
SilverMaster:
Но кто же мог подумать, что яндекс вдруг решит, что хватит быть yandex.ru, надо быть
105.99.21.199.in-addr.arpa domain name pointer spider-199-21-99-105.yandex.com.

Те надо объяснять, что купив блок класса Ц в in-addr.arpa могу отдавать:

105.99.21.199.in-addr.arpa domain name pointer нефиг-199-21-99-105.рога & копыта.пофиг

???

SilverMaster:

Представляю сколько контента не дополучил в индекс поисковик. :(

Ну раз стали разбираться - то Яндекс для вас важен.

А вот ваш сайтег для него - сумлительно.

// Все наши проблемы от нашего не знания...
SilverMaster
На сайте с 08.10.2003
Offline
217
#4
di_max:
Те надо объяснять, что купив блок класса Ц в in-addr.arpa могу отдавать:
105.99.21.199.in-addr.arpa domain name pointer нефиг-199-21-99-105.рога & копыта.пофиг
???

Ой, коллега, буквально вчера пытались купить такую сетку, может быть вы В КУРСЕ, что адресса заканчиваются? И что адреса есть тока на перепродажу??

Да и для парсинга одного сайта такое делать довольно проблематично, не кажется?

Вообщем я указал на явную ошибку в политике поисковика, кому интересно почитайте, кто хочет меня учить жизни - спасибо, проходите мимо :)

di_max
На сайте с 27.12.2006
Offline
262
#5
SilverMaster:
Ой, коллега, буквально вчера пытались купить такую сетку, может быть вы В КУРСЕ, что адресса заканчиваются?

Где заканчиваются? Откупаешь канал оптики и к нему 2 сети Ц в нагрузку.

И не меркай себя с Яндексом. У них возможностей на 3 порядка больше. ;)

SilverMaster:
Вообщем я указал на явную ошибку в политике поисковика..

Да ну?😮

Нафига делать:

мы резолвили IP роботов яндекса по признаку "ending in 'yandex'ru'."

Если тут русским по белому написано:

Имена всех роботов Яндекса заканчиваются на 'yandex.ru', 'yandex.net' или 'yandex.com'.

То есть о других ботах (.net & .com)Яндекса вам даже не известно.😂

SilverMaster
На сайте с 08.10.2003
Offline
217
#6
di_max:
Где заканчиваются? Откупаешь канал оптики и к нему 2 сети Ц в нагрузку.


То есть о других ботах (.net & .com)Яндекса вам даже не известно.😂

Уже известно :)

Но сам факт, в доке одно на деле другое.

А оптику мне не нужно покупать, спасибо за предложение конечно...

Хватает

di_max
На сайте с 27.12.2006
Offline
262
#7
SilverMaster:
Но сам факт, в доке одно на деле другое.

Да ну?😮

Из отселя явственно следует:

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Поэтому мы не разглашаем их список и не рекомендуем использовать фильтрацию на их основе.

И эта строчка, если меня не подводит мой склероз, года с 2003 не менялась.

Такшта - неча на Яндекс валить. :)

Масол
На сайте с 01.12.2006
Offline
254
#8

di_max, ты чего, как вчера народившись?

Виноватый все вокруг, кто угодно, но не я!

Иточка!!! :)

Доход 20% в месяц https://u.to/TppoGg
[Удален]
#9

чего у вас за хостинг что не держит любых роботов?

di_max
На сайте с 27.12.2006
Offline
262
#10
Масол:
Иточка!!! :)

Сегодня - это не аргумент!

- 13пятницо.

:)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий