- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как узнать, заходил ли робот на сайт? Прошу прощения за такой глупый вопрос, я просто новичок во всем этом, а на форуме не нашла ответа. Видимо это для всех очевидно настолько, что об этом не говорят
Я так понимаю, надо логи смотреть..я смотрю, но как по ним определить что робот яндекса заходил или рамблера или кто-то еще..
Объясните пожалуйста по-подробнее. Что вообще примерно должно быть написано в логе после захода на сайт робота?
типа того :
1 46028 20.29% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)
2 21556 9.50% msnbot/0.11 (+http://search.msn.com/msnbot.htm)
3 13286 5.86% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; MyIE2)
4 12887 5.68% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)
5 9380 4.14% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; .NET CLR 1
6 8377 3.69% Yandex/1.01.001 (compatible; Win16; I)
7 7514 3.31% Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)
8 5666 2.50% Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)
9 4824 2.13% Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)
10 4610 2.03% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; MyIE2; SV1
11 4493 1.98% WebCopier v4.0
12 4373 1.93% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; MyIE2; .NE
13 3620 1.60% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
14 3024 1.33% StackRambler/2.0 (MSIE incompatible)
15 3005 1.32% Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1
хм...ничего подобного нет :( А это вообще где смотреть-то надо? мож не там смотрю? у прова есть каталог logs и там файлы типа access_log. Их и смотрю..а там строчки типа:
83.237.17.29 - - [22/Sep/2004:11:07:21 +0400] "GET /about HTTP/1.1" 200 16296
попроси хостера установить статистику типа этой http://www.regentsamara.ru/stat/usage_200409.html или сама поставь или попроси кого нить из програмеров скриптачей
помочь
а без статистики подобной нельзя что ли определить был робот и когда? Те логи в которых я смотрю - разве в них не должно быть следов робота?
а без статистики подобной нельзя что ли определить был робот и когда? Те логи в которых я смотрю - разве в них не должно быть следов робота?
Следы робота в логах есть, Вам уже приводился пример выше.
Можно также пользоваться http://it-v.net.ru/spider_faq.php и получать отчет о том кто и когда был по почте
всё там есть и указанная выше статистика как раз работает на этих логах ... есть еще софт который позволяет смотреть уже скачанные логи на вашей локальной машине ... к примеру как этот
http://net-promoter.com/ru/loganalyzer/
Весна, в настройках вашего сервера стоит формат логов, в котором не пишутся поля Referer и User-Agent, по-моему common, Вам надо попросить хостера установить формат логов в combined, тогда добавятся два поля и в последнем надо будет искать значения User-Agent роботов.
Спасибо! Я попрошу. Ну а пока поле не указывается, возможно как-то узнать, был робот на сайте или не был?
У меня проблема такая: Сайт был создан где-то в феврале. Было три страницы. Яндекс их проиндексировал. Затем наступило затишье вплоть до июля. В июле сайт был переделан, добавилось куча новых материалов и добавляется и по сей день. Однако до сих пор яндеск не проиндексировал ни одной новой страницы. Как первые три были, так и есть..А уже сентябрь!!!
Мне на данном этапе хочется понять: робот заходит, но не индексирует в силу может каких-то там технических ошибок с моей стороны сделанных, либо робот просто еще не пришел на сайт, помятуя тот факт, что сайт долго не обновлялся вообще.
Проблема причем касается только яндекса. Остальные поисковики все прекрасно проиндексировали.
Можно поискать IP подсетей Яндекса, но точно сказать, что это был робот, и какой именно, нельзя.
ну ладно, допустим, что робот заходит, но не индексирует. Есть способы понять, почему он этого не делает?