Инструкция как "поймать" яндекс ботов online.

Белый Ум
На сайте с 27.04.2009
Offline
209
2040

Задача - в режиме реального времени видеть какие страницы запрашивают сканирующие яндекс боты

Решение:

подключаемся по SSH и вводим команду состоящую из компиляции tail и grep(на сервере должно быть включено логирование):

tail  -f /home/put-do-loga/vash-domen.ru.access.log | grep "yandex.com/bots"

И видим как в консоль начинают валится сообщения и заходе яндекс ботов:


141.8.147.9 - - [17/Sep/2013:12:41:07 +0400] "GET /url/ HTTP/1.0" 200 7006 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
178.154.224.114 - - [17/Sep/2013:12:42:09 +0400] "GET / HTTP/1.0" 200 7669 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots TEST)"
95.108.129.207 - - [17/Sep/2013:12:51:44 +0400] "GET / HTTP/1.0" 200 7669 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots mon1)"
141.8.147.9 - - [17/Sep/2013:12:53:44 +0400] "GET /url.htm HTTP/1.0" 200 7647 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

У меня на сайте услуг тиц 90, 15 000 страниц в индексе: боты(не считая ботов метрики) заходят каждые 15 минут.

Skype: shum_beliy
Mik Foxi
На сайте с 02.03.2011
Offline
1028
#1

вы это сейчас о чем и к чему?

так как всетаки поймать бота?

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ru.html + партнерка, до 40$ с продажи.
Белый Ум
На сайте с 27.04.2009
Offline
209
#2

foxi, а это я к тому, что неплохо бы в ваш конструктор добавить модуль статистики захода Яндекс Ботов.🍿😂

Mik Foxi
На сайте с 02.03.2011
Offline
1028
#3

Белый Ум, чтоб не вводить людей в заблуждение, вам нужно было разместить тему в разделе вебмастеринга или администрирования серверов. и назвать ее как нибудь так "поиск строки с помощью tail и grep", но в нете об этом столько написано, что не понятно, к чему это было дублироват ьв 100500 раз на серче :D

а в конструкторе такой статистики не нужно, боты и так хотят, после каждой созданной страницы она пингуется яндексу, потому бот ее обязательно посещает.

W
На сайте с 10.05.2009
Offline
114
#4
Белый Ум:
Задача - в режиме реального времени видеть какие страницы запрашивают сканирующие яндекс боты

Есть варианты попроще не требующие SSH - sebot например

И название темы не адекватное, я подумал инструкция о том как затащит быстробота на сайт а не банальное логирование заходов бота.

Белый Ум
На сайте с 27.04.2009
Offline
209
#5
wolfston:
И название темы не адекватное, я подумал инструкция о том как затащит быстробота на сайт а не банальное логирование заходов бота.

Да, конечно варианты есть. Переименовать тему я не могу. Не хотел ввести в заблуждение.

---------- Добавлено 17.09.2013 в 13:48 ----------

На самом деле, стояла задача узнать как быстро бот приходит на страницу после твитера(и как от качества твиттера это зависит), и для решения этой задачи это самый простой и быстрый метод.

d4k
На сайте с 02.03.2010
Offline
146
d4k
#6
Белый Ум:
Да, конечно варианты есть. Переименовать тему я не могу. Не хотел ввести в заблуждение.

---------- Добавлено 17.09.2013 в 13:48 ----------

На самом деле, стояла задача узнать как быстро бот приходит на страницу после твитера(и как от качества твиттера это зависит), и для решения этой задачи это самый простой и быстрый метод.

И как ваши наблюдения по-поводу твитера?

[Удален]
#7
Белый Ум:
Задача - в режиме реального времени видеть какие страницы запрашивают сканирующие яндекс боты

И нахрен это надо?

АД
На сайте с 30.04.2010
Offline
29
#8

может если логи недоступны, тогда это поможет ..

Белый Ум
На сайте с 27.04.2009
Offline
209
#9
Miha Kuzmin (KMY):
И нахрен это надо?

Я выше написал.

---------- Добавлено 19.09.2013 в 14:03 ----------

d4k:
И как ваши наблюдения по-поводу твитера?

10 твитов через форумок за 0,3 уе в сумме = в течении нескольких часов в индексе.

d4k
На сайте с 02.03.2010
Offline
146
d4k
#10
Белый Ум:
Я выше написал.

---------- Добавлено 19.09.2013 в 14:03 ----------


10 твитов через форумок за 0,3 уе в сумме = в течении нескольких часов в индексе.

Берите у меня через твиттерсток или напрямую) Могу n-ретвитов делать, синонимайз твитов ;) Индекс в течении минут...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий