- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
где эти все 200 или 304 смотреть? :)
94.228.204.10 - - [01/Oct/2013:16:55:07 +0400] "GET //page.php HTTP/1.0" 301 339 "-" "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13"
109.94.0.100 - - [01/Oct/2013:16:55:07 +0400] "GET //page.php HTTP/1.0" 301 339 "-" "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13"
Психиатр, у вас в логах 301 (редирект).
User-Agent: *
Disallow: /?
Disallow: /search_all/
Disallow: /obratnyj_zvonok/
Disallow: /obratnyj_zvonok_rezultat/
Disallow: /admin
Disallow: /index.php
Disallow: /emarket/addToCompare
Disallow: /emarket/basket
Disallow: /go_out.php
Disallow: /search
Disallow: /users
Crawl-delay: 3 - задержка для ботов, у некоторых видел 10 даже стоит
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
ЗЫ изучать конкурентов не пробовали?
Психиатр, у вас в логах 301 (редирект).
Так и есть. Но у меня в этой папке и главное зеркало и неглавное, а логи одинаковые для них.
Ладно, пойду пока вот этих гондурасов банить.
Если есть возможность, лучше банить не в .htaccess, а в location nginx, так значительно меньше нагрузка.
Возможность для этого всегда есть. Понять бы что это еще.
ТС, а не проще разрешить только гуглу, яше, рамблер, маил.ру, сканить (тех - которые нужны) ☝
Конечно проще. Осталось только ерунда совсем: научиться это сделать.
Конечно проще. Осталось только ерунда совсем: научиться это сделать.
http://web-install.ru/info/info_44.html - по яше, описание ботов.
По остальным информацию тоже не сложно найти.
ЗЫ можно даже банить отдельно ботов которые выявляют ГС, но это еще тестить нужно ☝
http://web-install.ru/info/info_44.html - по яше, описание ботов.
По остальным информацию тоже не сложно найти.
Вы считаете этим реально проще заняться?А где гарантия что этот гавносайт не пропустил какого нибудь бота? Вот здесь например 22 бота, а не 14.
Вы считаете этим реально проще заняться?
Реализация дольше но, более тонкая настройка на большом промежутке времени даст лучшие результаты.
Имхо.
Для ГС конечно нет смысла так заморачиваться.
Пытаюсь банить через .htaccess:
Order Allow,Deny
Allow from all
Deny from 109.94.0.100
Deny from 94.228.204.10
А эти два адреса всё равно долбятся ко мне каждую секунду. Чудеса? Или это у меня руки из жопы растут?
Банить всю подсеть, типа Deny from 109.94.0 все равно не помогает.
Блокировать их лучше через iptables. Ещё советую установить fail2ban - весьма полезная вещь. У Вас есть доступ к SSH? Дайте команду iptables -L -n -v для проверки настроек брэндмауера. Чтобы добавить ip адрес в блок дайте команду: iptables -I INPUT -s ip.ip.ip.ip -j DROP и не забудьте сохранить настройки.
Пользоваться .htacces для этих целей не стоит - это всё равно это создает серьёзную нагрузку.
Crawl-delay: 3 - задержка для ботов, у некоторых видел 10 даже стоит
Подавляющая часть назойливых ботов даже не загружает robots.txt перед тем как начать сканирование сайта. Crawl-delay поможет только от самых культурных, вроде маджестика.