- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Задача - в режиме реального времени видеть какие страницы запрашивают сканирующие яндекс боты
Решение:
подключаемся по SSH и вводим команду состоящую из компиляции tail и grep(на сервере должно быть включено логирование):
И видим как в консоль начинают валится сообщения и заходе яндекс ботов:
У меня на сайте услуг тиц 90, 15 000 страниц в индексе: боты(не считая ботов метрики) заходят каждые 15 минут.
вы это сейчас о чем и к чему?
так как всетаки поймать бота?
foxi, а это я к тому, что неплохо бы в ваш конструктор добавить модуль статистики захода Яндекс Ботов.🍿😂
Белый Ум, чтоб не вводить людей в заблуждение, вам нужно было разместить тему в разделе вебмастеринга или администрирования серверов. и назвать ее как нибудь так "поиск строки с помощью tail и grep", но в нете об этом столько написано, что не понятно, к чему это было дублироват ьв 100500 раз на серче :D
а в конструкторе такой статистики не нужно, боты и так хотят, после каждой созданной страницы она пингуется яндексу, потому бот ее обязательно посещает.
Задача - в режиме реального времени видеть какие страницы запрашивают сканирующие яндекс боты
Есть варианты попроще не требующие SSH - sebot например
И название темы не адекватное, я подумал инструкция о том как затащит быстробота на сайт а не банальное логирование заходов бота.
И название темы не адекватное, я подумал инструкция о том как затащит быстробота на сайт а не банальное логирование заходов бота.
Да, конечно варианты есть. Переименовать тему я не могу. Не хотел ввести в заблуждение.
---------- Добавлено 17.09.2013 в 13:48 ----------
На самом деле, стояла задача узнать как быстро бот приходит на страницу после твитера(и как от качества твиттера это зависит), и для решения этой задачи это самый простой и быстрый метод.
Да, конечно варианты есть. Переименовать тему я не могу. Не хотел ввести в заблуждение.
---------- Добавлено 17.09.2013 в 13:48 ----------
На самом деле, стояла задача узнать как быстро бот приходит на страницу после твитера(и как от качества твиттера это зависит), и для решения этой задачи это самый простой и быстрый метод.
И как ваши наблюдения по-поводу твитера?
Задача - в режиме реального времени видеть какие страницы запрашивают сканирующие яндекс боты
И нахрен это надо?
может если логи недоступны, тогда это поможет ..
И нахрен это надо?
Я выше написал.
---------- Добавлено 19.09.2013 в 14:03 ----------
И как ваши наблюдения по-поводу твитера?
10 твитов через форумок за 0,3 уе в сумме = в течении нескольких часов в индексе.
Я выше написал.
---------- Добавлено 19.09.2013 в 14:03 ----------
10 твитов через форумок за 0,3 уе в сумме = в течении нескольких часов в индексе.
Берите у меня через твиттерсток или напрямую) Могу n-ретвитов делать, синонимайз твитов ;) Индекс в течении минут...