- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
обнаружил у себя на сайте заходы следующих ботов
sfront35.yandex.ru
glagol.yandex.ru -По заходу на этот урл требуеся пароль
yt64.yandex.ru
kalan.yandex.ru
ктонибудь знает что эти боты делают??
1) Yandex/1.01.001 (compatible; Win16; I) основной индексирующий робот
2) Yandex/1.03.003 (compatible; Win16; D) робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
3) Yandex/1.02.000 (compatible; Win16; F) робот, индексирующий пиктограммы сайтов (favicons)
4) Yandex/1.01.001 (compatible; Win16; M) робот, обращающийся при открытии страницы по ссылке «Найденные слова»
P.s: Воспользуйтесь поиском, много чего интересного узнаете :)
спасибо за ответ
Прастите за глупый вопрос но как посмотреть какие боты были на сайте ? В логах счётчика, или где ?
В логах счётчика, или где ?
В логах сервера.
1) Yandex/1.01.001 (compatible; Win16; I) основной индексирующий робот
2) Yandex/1.03.003 (compatible; Win16; D) робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
3) Yandex/1.02.000 (compatible; Win16; F) робот, индексирующий пиктограммы сайтов (favicons)
4) Yandex/1.01.001 (compatible; Win16; M) робот, обращающийся при открытии страницы по ссылке «Найденные слова»
Подскажите, а Yandex/1.01.001 (compatible; Win16; P) - это что за бот?
Вопрос снят. Для тех кому интересно:
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
Информация от Яндекс.
В логах сервера.
А как его найти?
А как его найти?
Обратитесь к хостеру. По вашей просьбе, он выложит ваш лог-файл, в директорию вашего сайта. По крайней мере у меня так. Может на вашем хосте, файл уже выгружен в директорию, по умалчанию. Но в любом случае, к хостеру. ИМХО
Вопрос снят. Для тех кому интересно:
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
[...]
Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.
Информация от Яндекс.
В ту же копилку:
YandexSomething/1.0 - робот, индексирующий RSS2.0 файлы участников новостной программы news.yandex.ru
Прастите за глупый вопрос но как посмотреть какие боты были на сайте ? В логах счётчика, или где ?
Кроме логов веб-сервера, есть еще один из способов.
Если имеется, например php, то можно разрешить ему обрабатывать свои скрипты в файлах с расширением .txt при помощи директивы апача AddType application/x-httpd-php .txt, в http.conf
Далее добавляем в robots.txt
include('db_connect.inc');// соединяемся с базой
mysql_query("INSERT INTO robots (user_agent, date_time) VALUES('{$HTTP_USER_AGENT}', NOW())");
?>
Предварительно нужно создать таблицу robots с полями user_agent и date_time в БД.
Либо можно все это писать в текстовый файл, если нет возможности использовать базу данных.
Результат - наглядно видим какие боты шарились на сайте и в какое время.
SELECT * FROM robots WHERE user_agent LIKE '%Yandex%' ORDER BY date_time DESC - смотрим когда сайт навещали боты всеми любимого Яндекса 🚬