- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
То есть файлик botlog1.txt показывает исключительно заблокированных ботов ?
У меня почему то получилось на сервере 2 файла botlog1.txt botlog2.txt . Первый весит 3мб , а второй уже 24мб. Там сотни записей...это столько ботов получается заблокированы..ничего себе..
Харизма, первый файл это те, кто получил проверочную заглушку. Второй это те, кто уже преодолел заглушку и ходит по сайту. Белые боты которые в конфиге - они в этих логах не логируются.
Я немного в терминах путаюсь.. сорри. Что значит получил проверочную заглушку ? То есть на сайт не попал и скрипт его заблокировал, и он отобразился в логе botlog1.txt .
А в логе botlog2.txt логируются те, кто все замечательно прошел и ходят по сайту.
Харизма, все кроме белых ботов которые прописаны в конфиге - при первом заходе видят заглушку проверочную на 3 секунды. Эти все запросы записываются в лог1, дальше через 3 сек юзер попадает на сайт и записывается в лог2. Ну а если это говнобот, то он во втором логе не появится, т.к. не пройдет проверку.
foxi Благодарю! ) Теперь понятно. Жаль, что говноботы никуда не записываются отдельно, хотелось бы какую-то статистику по ним смотреть, чтобы ip их блокировать уже на самом сервере.
а как сделать исключения для бота майнлинк?
а как сделать исключения для бота майнлинк?
а как он выглядит в botlog1.txt ?
---------- Добавлено 19.01.2018 в 12:59 ----------
foxi Благодарю! ) Теперь понятно. Жаль, что говноботы никуда не записываются отдельно, хотелось бы какую-то статистику по ним смотреть, чтобы ip их блокировать уже на самом сервере.
Смотрите botlog1.txt, если там видите ненужных ботов которые активно ломятся и имеют свое имя (маджестики всякие, вебархивы, и прочие полупоисковики), то собирать в логе их юзерагенты и банить по юзерагентам на сервере (в нгинкс, хтасесс), чтоб меньше создавали нагрузки на сервер. В остальном никого дополнительно банить и не надо.
есть проблема, почему-то ботов адсенс скрипт не добавил в белый список
iccup, добавить в конфиг:
$ab_se['Mediapartners'] = array('googlebot.com', 'google.com'); // AdSense bot
v. 3.02:
В конфиг добавлена переменная: $ab_config['counter'] (для отображения на заглушке счетчиков).
В конфиге дополнены настройки мейловского бота, добавлен PTR: smailru.net
Добавлена JS защита от открытия сайта в продвинутых анонимайзерах cmle.ru, www.nblz.ru и аналогичных.