боты поисковых систем

1 2345 6
Andreyka
На сайте с 19.02.2005
Offline
822
#31
Guru911:
ну железо вы допустим не жалеете фиг с ним, за сохранность и оригинальность контента не переживаете и раздаете всем кому не поподя пачками, а точнее оптом, а за траф платить охота ? Паризитный траф от ботов может половину составлять ...

У меня железо не дохлое и трафик анлимный. Чего и всем желаю.

Не стоит плодить сущности без необходимости
юни
На сайте с 01.11.2005
Offline
933
#32
Guru911:
ментейнер это вообще к чему ?

По ссылке Вы предлагает произвести поиск по мантейнеру (YANDEX-MNT), а он у Яндекса не один.

И вообще, это не оптимальный вариант. С таким же успехом можно собирать пшеницу руками, а не комбайном.

ENELIS:
именно IP адресов

Какой в этом смысл? Регистраторы выдают блоки размерами не /32, а минимум /24 (в случае с поисковиками - и вовсе от /20) - с таких диапазонов и следует начинать поиск.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
iHead
На сайте с 25.04.2008
Offline
137
#33
Andron_buton:
Кстати да, бэкрезолв тоже можно подделать как и юзерагент, вот думаю, может так и сделать и потом в саппорт написать.

бэкрезолв, можно проверить прямым резолвом результата бэкрезолва :)

Рекомендуемый хостинг партнер 1С-Битрикс (https://www.ihead.ru/bitrix/), PHP-хостинг (https://www.ihead.ru/php/), доверенный партнер RU-CENTER (https://www.ihead.ru/news/573.html), официальный представитель REG.RU в Кирове (https://www.ihead.ru/news/851.html)
ENELIS
На сайте с 29.08.2008
Offline
194
#34

Там очень много IP всяких media analysis и т.п.

У них по одному IP вообще. Есть кто со своих pppoe сетей лазит, добавлять всех будете?

Но это все IP за несколько лет, так что частично их уже перераспределили.

Лучший вариант - это live фильтрация.

По юзерагентам ботов задолбитесь фильтровать. Если кто-то частично своих ботов подписывают, то есть поисковики, которые пишут подпись от MSIE и не парятся.

С Уважением, ServerAstra.ru (https://serverastra.com) - VPS и выделенные сервера в Будапеште по выгодным ценам!
юни
На сайте с 01.11.2005
Offline
933
#35
ENELIS:
Есть кто со своих pppoe сетей лазит, добавлять всех будете?

Не думаю, что ПС отдают свои диапазоны сторонним компаниям.

_
На сайте с 24.03.2008
Offline
381
#36

Мда... никто ничего о cloaking не слышал :) ?

Теперь подумайте

1.могут ли существовать актуальные верные и дешевые списки всех ip гугла

2.что с вами будет, если некоторых ip в списках не окажется...

R
На сайте с 22.06.2007
Offline
174
#37
Guru911:
ну железо вы допустим не жалеете фиг с ним, за сохранность и оригинальность контента не переживаете и раздаете всем кому не поподя пачками, а точнее оптом, а за траф платить охота ? Паризитный траф от ботов может половину составлять ...

какой траф, какая оригинальность контента, если 503 отдаем?

Guru911:
думаю основные все равно не меняются - был бот поисковым - врядле его переопределят разносить кофе ...

Может появится еще 1 бот по другому адресу - он у вас же автоматом не разрешится? Хотя возможен и перенос по разным техническим причинам, это динамическая инфа.

Guru911:
чушь какая то, вы вправду думаете что они сайты правилами в энджин заносят или куда там

Да, а почему бы и нет. А у вас получается из разряда "кнопка бабло" :)

юни
На сайте с 01.11.2005
Offline
933
#38

Кроме клоакинга есть ещё и ручная проверка, которая осуществляется с ip, вообще никак не причастных к ip ПС.

_
На сайте с 24.03.2008
Offline
381
#39
юни:
Кроме клоакинга есть ещё и ручная проверка, которая осуществляется с ip, вообще никак не причастных к ip ПС.

А вы ему 503 :).

О, он повеселится-то... и вы потом тоже.

R
На сайте с 22.06.2007
Offline
174
#40
_SP_:
1.могут ли существовать актуальные верные и дешевые списки всех ip гугла
2.что с вами будет, если некоторых ip в списках не окажется...

Очень кстати правильные уточнения.

1 2345 6

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий