- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация такая у меня установлена защита на сайте от слишком частых обращений к страницам и вот исследуя логи заметил что частенько банится на 3 минуты один и тот же айпишник.
Посмотрел логи сервера оказалось что Yandex слишком нагло запрашивает страницы, других ботов ниразу в бане не замечал.
В сзвязи с чем вопрос, как отнесется к таким кратковременным банам робот, не перестанет ли ходить на сайт вообще?
Уже неоднократно слышал от людей, что яндекс слишком по хозяйски орудует на сайтах, создавая приличную нагрузку на сервер, делал ли ктонибудь анализ такой, насколько это соответсвует действительности, может стоит увеличить допустимые обращения в защите ?
бан будет взаимным 😂
может стоит увеличить допустимые обращения в защите ?
Стоит - иначе будут проблемы с выпадением страниц индексацией и тд. и т.п.
Уже неоднократно слышал от людей, что яндекс слишком по хозяйски орудует на сайтах, создавая приличную нагрузку на сервер, делал ли ктонибудь анализ такой, насколько это соответсвует действительности
Делайте страницы правильно, и не будет таких нагрузок, если только в редких случаях.
Страницы у меня правильные и нагрузок не дают лишних, можно сказать оптимизированы вообще по самое немогу, прежде чем запустить сайт, скрипты год обтачивались на локалке и тестировались на нагрузки.
Нагрузку можно создать на любой странице посылая слишком частый GET запрос к ней, именно так и делается DOS атака на сервер. Именно от таких случаев и предусмотрена защита, за слишком частые и продолжительные GET запросы с одного IP, происходит временный бан на 3 минуты.
Конечно усилий яндекса для этого недостаточно, но своим агрессивным индексированием он может создать проблемы сайту если у него высокая посещаемость и сервер работает на пределе, в таких случаях нельзя исключать и падения mySql базы сайта.
Меня пока это не касается тк. народу в день всего по 50 уников, просто уменьшил параметры чувствительности, сегодня смотрю уже нету бана, яндекс гулял свободно.
На форуме яндекса кстати звучали подобные вопросы тоже.
Немного забавляет меня система репутации на форуме и отношение участников к этой забавной игрушке :)
Что такого тупого было в моем вопросе, что мне минусы лепят ?
Или тут чтобы репутация росла, нужно с умным видом надувать щеки и делать вид что ты Гуру?
бан будет взаимным
Возможно;)
Причем, Яндекс с трудом, но как-нибудь без твоего сайта обойдётся :)
Нагрузку можно создать на любой странице посылая слишком частый GET запрос к ней, именно так и делается DOS атака на сервер. Именно от таких случаев и предусмотрена защита, за слишком частые и продолжительные GET запросы с одного IP, происходит временный бан на 3 минуты.
А почему так боишься DOS атак? В интернете куча сайтов, которые посещают тысячи людей в день, но я что - то не встречал тех кто ставит такую защиту.
как-нибудь без твоего сайта обойдётся
Яша действительно проживет без этого сайта, а вот проживет ли этот сайт без Яши...
Страницы у меня правильные и нагрузок не дают лишних, можно сказать оптимизированы вообще по самое немогу, прежде чем запустить сайт, скрипты год обтачивались на локалке и тестировались на нагрузки.
Ну чём тогда разговор, если всё хорошо.
Люди ну вы чего, тут кто нибудь читает, то что написано изначально?
Где речь идет о том чтобы банить яднекс специально или еще какието меры предпринимать?
seoshnic, Защита эта в движке стоит изначально, не вырезать же ее. И что плохого в том что предусмотрены разные виды защит на сайте?
Да, вы правы, на многих сайтах вообще никаких защит нету, потом и возникают вопросы тут же на форуме, помогите форум или гостевую спамят...
Просто так получилось что эта защита срабатывает подчеркиваю ТОЛЬКО на яндекс, другие боты ходят свободно, почему так? почему именно яндекс ?
И здесь я высказал мысль о его возможно агрессивном поведении на сервере, т.к. уже слышал об этом, что робот яндекса порой забивает канал при индексации если очень много страниц. Вы у них в факе посмотрите что написано в ответ на вопрос "Яндекс робот перегружает мой сервер" - они осторумно советуют запретить его в robots.txt
В гонках за индексом они ложить хотели и на сайты и на сервера, им размер индекса важен и окультуривать поведение своих роботов они не собираются, как вы правильно заметили без чьего либо сайта они проживут, а вот сайт без них...
maximumx, да у меня все хорошо пока, но хочу быть готовым к тому что все может измениться, поэтому и задал вопрос.
А говорить здесь есть о чем, если у Вас есть мысль по этому поводу - почему срабатывает только на Яндекс, а на другие роботы нет, то с радостью выслушаю если вам это интересно. Если нет, то действительно говорить не о чем, для обсуждения качества моих страниц я создам отдельный топик если потребуется.
Не к чему готовиться, если правильно отдаются заголовки, то будет всё нормально, без перегрузок. Либо меняйте хостера.