- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как определить, когда робот последний раз заходил на сайт и какие страницы индексировал?
Flame, анализируйте лог-файлы сайта. Анализатор логов - это один из модулей программы Semonitor, демо-версию которой можно скачать с сайта http://www.semonitor.ru
Кроме этой программы существует множество программ для анализа лог-файлов.
Yaroslav_Adv,спасибо за ответ!
Можно в текстовом редакторе открыть лог, набрать название роботота и снизу вверх найти что и когда он кушал.
Я, если интересно (обычно, на новых проектах), отлавливаю ботов и пишу в отдельный файл. Типа того:
Потом к этому пишется простенький интерфейс, на том же ПХП. Под рукой нету. Но делов на 30 минут. А можно и прямо глазками смотреть, если ботов не шибко много.
Еще, как вариант, установить дополнительный код от liveinternet. Он примерно то же самое делает, только статистику можно смотреть вместе с другими данными счетчика. Где-то у них есть ссылка.