Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как отследить роботов ?

ilux
На сайте с 11.07.2009
Offline
371
ilux
583

Искал но четкого ответа не нашел.

Если не брать в расчет возможности хостинга awstat и т.д.

С помощью обычных счетчиков можно сделать ? ( Лиру , метрика , гугл.аналитикс , мейл , рамблер ..):(

🎄 Мой блог и тест пуш партнерок в реальном времени -> https://t.me/seo2007
vakuum
На сайте с 17.12.2008
Offline
122
vakuum
#1

Ну наверное стоит именно смотреть в сторону PHP

что-то кривыми руками получается около того

"$_SERVER['HTTP_USER_AGENT']" - через это лучше не брать(читать ниже).

<?php

$hostname = gethostbyaddr($_SERVER['REMOTE_ADDR']);

if(strstr($hostname,'google')){

echo $content1;

}else{

echo $content2;

}

?>

через юсер агент их тяжело отследить, тк даже под обычными заходят. По этому код который вверху более рентабелен будет.

ну и так же можно отслеживать определённых ботов(код не мой) :

function SpiderDetect() {
$engines = array(
array('Google', 'Google Bot'),
array('Gsa-crawler', 'Google Bot'),
array('Yandex', 'Yandex Bot'),
array('YaDirectBot', 'Yandex Direct Bot'),
array('Yahoo', 'Yahoo Bot'),
array('Rambler', 'Rambler Bot'),
array('msn', 'MSN Bot'),
array('Gigabot', 'Giga Bot'),
array('Aport', 'Aport Bot'),
array('Lycos', 'Lycos Bot'),
array('FAST-WebCrawler', 'WebCrawler Bot'),
array('Mail.Ru', 'Mail.Ru Bot'),
array('IDBot', 'ID-Search Bot'),
array('eStyle', 'eStyle Bot'),
array('AbachoBOT', 'Abacho Bot'),
array('accoona', 'Accoona Bot'),
array('AcoiRobot', 'Acoi Bot'),
array('ASPSeek', 'ASPSeek Bot'),
array('CrocCrawler', 'CrocCrawler Bot'),
array('Dumbot', 'Dumbot Bot'),
array('GeonaBot', 'Geona Bot'),
array('MSRBOT', 'MSR Bot'),
array('Scooter', 'Altavista Bot'),
array('AltaVista', 'Altavista Bot'),
array('WebAlta', 'WebAlta Bot'),
array('Scrubby', 'Scrubby Bot'),
array('Slurp', 'Slurp Bot'),
array('ia_archiver', 'IA.Archiver Bot'),
array('Baiduspider', 'Baidu.com'),
array('oBot', 'oBot'),
array('Speedy Spider', 'EntireWeb Bot'),
array('Speedy_Spider', 'EntireWeb Bot'),
array('Teoma', 'Ask Bot'),
array('Binky', 'libwww.Binky Bot'),
array('amaya', 'libwww.amaya Bot'),
array('Webgate', 'libwww.Webgate Bot'),
array('W3C_Validator', 'libwww.W3C Validator Bot'),
array('libwww', 'libwww.nothing Bot'),
array('What You Seek', 'WhatYouSeek Bot'),
////////////////////////////////////////////////////////
array('Offline Explorer', 'Offline Explorer Bot'),
array('Teleport', 'Teleport Bot'),
);

foreach ($engines as $engine) {
if (stristr($_SERVER['HTTP_USER_AGENT'], $engine[0])) {
return($engine[1]);
}
}

return false;
}

это нажива куда стоит копаться. А именно реализация кода отслеживания захода и записывания точки входа и времени(если требуется)

Гадаю на ссылочной массе Снимаю порчу семантическим ядром Приворожу Яндекс
Запрет доступа к сайту QR-код и как к передача значения параметра в
[Удален]
#2

ilux, какой движок ? Можно установить плагин если ВП

Zion-i2
На сайте с 10.06.2011
Offline
108
Zion-i2
#3

http://htmlweb.ru/php/example/poiskovie_bot.php

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий