IP адреса ботов

B
На сайте с 01.11.2008
Offline
119
905

Не нашел подобной темы, тут вопрос возник.

Прогнал по каталогам с установкой обраток. все бы ничего куча размещений, но когда запретил индексацию обраток тут же пришла куча разгневанных писем, мол не обнаружена ссылка и т.п.

Как вариант, если знать IP адреса ботов, то можно запретить им заходить в папку с обратками. через .htaccess, есть где нибудь информация об ip ботов поисковиков? и прокатит ли эта затея?

stalker37
На сайте с 16.05.2008
Offline
164
#1

boav, если боты не зайдут на страницу, то тоже напишут, что нет обратки.

Шаред и облачный хостинг, VPS (http://jino.ru/?par=stalker37)
_Владимир_
На сайте с 04.06.2007
Offline
75
#2
boav:
Не нашел подобной темы, тут вопрос возник.
Прогнал по каталогам с установкой обраток. все бы ничего куча размещений, но когда запретил индексацию обраток тут же пришла куча разгневанных писем, мол не обнаружена ссылка и т.п.
Как вариант, если знать IP адреса ботов, то можно запретить им заходить в папку с обратками. через .htaccess, есть где нибудь информация об ip ботов поисковиков? и прокатит ли эта затея?

с ботами поисковиков шутить не стоит, а вот с каталожными ботами можно, банальным клоакингом можно отдавать простукивалкам нужный для них контент, остальным не показывая его вообще

черно / белая рассада seo icq: 426-714-284 (Владимир)
B
На сайте с 01.11.2008
Offline
119
#3
stalker37:
boav, если боты не зайдут на страницу, то тоже напишут, что нет обратки.

Боты не зайдут только поисковые.. все остальные люди, боты проверяльщики будут спокойно проверять.. просто будет папка на сайте которая будет выдавать доступ запрещен для поисковых ботов.

boav добавил 28.09.2009 в 22:29

_Владимир_:
с ботами поисковиков шутить не стоит, а вот с каталожными ботами можно, банальным клоакингом можно отдавать простукивалкам нужный для них контент, остальным не показывая его вообще

есть уже реализации как узнать что бот засланный и смотрит есть ли ссылка?

stalker37
На сайте с 16.05.2008
Offline
164
#4

boav, а, для поисковых? Тогда лучше используйте AS-каталог и MY-каталог (вроде так пишется). Когда бот поисковика заходит, то он ничего не видет, а когда заходит бот каталога, то он видит страницу, которая целиком посвящена его каталогу и уходит довольный не подозревая о том, что такую страницу он один видит:)

_Владимир_
На сайте с 04.06.2007
Offline
75
#5
boav:
Боты не зайдут только поисковые.. все остальные люди, боты проверяльщики будут спокойно проверять.. просто будет папка на сайте которая будет выдавать доступ запрещен для поисковых ботов.

boav добавил 28.09.2009 в 22:29


есть уже реализации как узнать что бот засланный и смотрит есть ли ссылка?

Для этого нужно собирать под конкретную базу каталогов базу IP простукивалок, либо в некоторых каталогах боты подписываются своим именем (в поле юзер-агент). Собрать можно довольно быстро, достаточно вести лог обращений к определенному файлу при прогоне тестового сайта.

Насамом деле все проще чем вы можете себе представить, проблема лишь собрать базу.

_Владимир_ добавил 28.09.2009 в 22:50

stalker37:
boav, а, для поисковых? Тогда лучше используйте AS-каталог и MY-каталог (вроде так пишется). Когда бот поисковика заходит, то он ничего не видет, а когда заходит бот каталога, то он видит страницу, которая целиком посвящена его каталогу и уходит довольный не подозревая о том, что такую страницу он один видит:)

собственно я о том же....

B
На сайте с 01.11.2008
Offline
119
#6

Спасибо за ответы!🍻

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий