Бот на сайте

Или в .хтакссес прописать что-то по типу:

Я для этих целей приспособил бесплатную версию скрипта:

/ru/forum/375658

В шаблон(ы) для доргена (использую РБ) вставляется строчка:

<?php require_once (getenv ("DOCUMENT_ROOT")."/папка_со_скриптом/bot_stat.php"); ?>

В .htaccess дописывается строчка из предыдущего сообщения (если страницы html).

И выставляются нужные права для файлов скрипта:

Поскольку, я юзаю РБ и его заливку по фтп, то я просто дописал в доргене автоматическое выставление прав на нужные для работы файлы после заливки дорвея на фтп. У меня сделано так:

В файл run.php в самый низ (перед $time_end = getmicrotime();) дописываем код:

if ($nn_method=='ftp') {
//установка прав на файлы, для отслеживания ботов
$filechmoded = array ("$folder/папка_со_скриптом/bot_stat.log","$folder/папка_со_скриптом/bot_stat.txt");
// set up basic connection
$conn_id = ftp_connect($ftp);
// login with username and password
$login_result = ftp_login($conn_id, $login, $password);
// iteration
$count = count ($filechmoded);
for ($i=0;$i<$count;$i++) {
// try to chmod $file to 777
if (ftp_chmod($conn_id, 0777, $filechmoded[$i]) !== false) {
 echo "<div style='clear: left;' class=spam>Права на файл $filechmoded[$i] установлены на 777\n</div>";
} else {
 echo "<div style='clear: left;' class=spam>Не удалось изменить права на файл $filechmoded[$i]\n</div>";
}
}
// close the connection
ftp_close($conn_id);
}

папка_со_скриптом - какое-нибудь название папки, чтобы её случайно не нашли. В эту же папку кидаем файлик .htaccess из описания скрипта на страничке разроботчика, чтобы к нему никто доступ не получил. Настраиваем как хотим и засовываем эту папку в папку шаблона для РБ, чтобы автоматом этот скрипт заливался на все сделанные дорвеи. В итоге на каждом дорвее можно смотреть статистику по поисковым ботам, заходя по адресам:

door1.ru/папка_со_скриптом/bots.php

door2.ru/папка_со_скриптом/bots.php

...

И никакого ручного труда, кроме как подстановки правильных путей в браузер при просмотре статистики ботов на доре ;)

надо попробовать... по логам если смотреть то проще получается. 8))

У Яндекса есть несколько роботов, которые представляются по-разному.

* Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот

* Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок

* Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов

* Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)

* Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

*

Yandex/1.01.001 (compatible; Win16; m),

Yandex/1.03.000 (compatible; Win16; M) — роботы, индексирующие мультимедийные данные

* YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

* YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) — робот поиска по блогам, индексирующий комментарии постов

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Кроме роботов, у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

* Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.

* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.

* Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.

* Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует статистические отчеты для контент-менеджера и информирует его о возможных проблемах у партнеров-поставщиков новостей.

Недавно было. В новом году возможно что-то изменится. Но вряд ли.

благодарю за помощь

Не меня благодарите, а того человека который на форуме это запостил.

Я всего лишь в блокноте сохранил. Вот и пригодилось. )

Тут много интересного написано без всяких блокнотов http://help.yandex.ru/webmaster/

Ну да, первоисточник. )

Вот,ещё,кому-то может пригодиться: log.doom4.ru

С новым годом😂