Форум Практика оптимизации Doorways & Cloaking

Очистка доров от не СЕ

G
На сайте с 10.11.2006
Offline
8
Gannibal
1083

Приветствую. Возникла производственная необходимость траф на дорах фильтровать по критерию СЕ - не СЕ, и не СЕ траф сливать на помойку. Вижу решение через хтаксес проверять реферер и при отсутствии там слов гугл и т.д. перенаправлять таких пользователей.

Вот и вопрос теперь: могут ли поисковые боты шариться имея в рефах название поисковика? Делать редирект по рефу явой не хочу.

Спасибо.

ValdisRu
На сайте с 02.10.2006
Offline
139
ValdisRu
#1
Gannibal:
могут ли поисковые боты шариться имея в рефах название поисковика?

могут, гугль-бот имеет реф - http://www.google.com/bot.html

как то была идея связанная с редиректом в зависимости от рефа, выяснил еще одно - есть прокси которые в качестве рефа посылают ту же страницу которую и запрашивает юзер

Обалденный заработок на социальных сетях (https://goo.gl/Qtsq6M)
O
На сайте с 30.06.2006
Offline
46
Orlangur
#2
ValdisRu:
могут, гугль-бот имеет реф - http://www.google.com/bot.html

Не совсем...эта строка у гугль-бота в агенте, а в реферере пусто...по крайней мере у того бота, который ходит ко мне :)

Revan
На сайте с 09.09.2005
Offline
321
Revan
#3

Подтвеждаю - не видел легальных ботов имеющих не пустой реф.

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
O
На сайте с 30.06.2006
Offline
46
Orlangur
#4

Посмотрел у остальных ботов, тоже рефереры пусты.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий