- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Меня тож вопрос заинтересовал. Написал им в саппорт.
Была мысль сделать фильтр и при обращении чаще раза в 10 секунд выдавать 204 или 403 отклик, но при этом страница, которая выдала такой отклик скорее всего выпадет из индекса.
Как поступать в такой ситуации?
Правда очепятался в письме, имелось ввиду 304 а не 204.
Сеня пришел ответ.
В общем случае роботу можно отдавать 304, если страница не изменялась с последнего запроса ее роботом.
Правда ипы ихние были, ну да не в этом вопрос =)
Суть в том, что если яндекс нагружает сайт, можно для яндекса выдавать вместо страницы 304 отклик, что, как я понял не приведет к последствиям, кроме как если страница обновилась недавно, изменения не учтутся в выдаче.
В каждом конкретном случае остается лишь решить вопрос, как следить за тем, произведена ли модификация запрошеной страницы страницы с прошлого захода бота, или нет.
Или более просто вариант, если количество запросов яндекса превышает заданный для определенного промежутка времени, первому запросу отдавать страницу, а остальным за этот промежуток отдавать 304 отклик.
SergoZD, спасибо за инфу, насчет 304 отклика это интересно надо будет поэкспериментировать.
Ситуация с увеличением допустимой частоты до максимума, мне всеравно не помогла, то что это Яндекс - это точно, IP ихний.
Вчера ночью заметил снова яндекс в бане был, пришлось пока отключить antihammering. Заметил одну особенность в бан он попадает, в основном ночью, когда каналы свободны и скорость увеличивается.
Пока от этого вреда нету никакого, да и врядли будет, но то что сканирующие роботы создают нагрузку - это факт, степень нагрузки - это другой вопос. Тут уже чисто спортивный интерес проснулся, если можно оптимизировать эти факторы, то почему бы и нет.
Вот начал сейчас дописывать фильтр специально под Яндекс, чтобы его не банило пока, попробую с 304 откликом пошаманить.
Есть идея, облегчить ему задачу и отдавать часть страниц которые я точно знаю изменяться не будут(например новости) с этим откликом, но как узнать запрашивал робот данную страницу или нет, пока загадка.
если страницы хранятся в базе и имеют свой уникальный id - единственно верный вариант - добавить дополнительное поле, в котором хранить дату последней индексации роботом.
Но, на мой взгляд, робот одну и ту же страницу не так часто запрашивает, чтобы делать подобную проверку (на крупных сайтах, на мелких таких проблем в принципе стоять не должно), поэтому считаю наиболее эффективным с точки зрения затрат/результата именно что при превышении определенной нагрузки от яндекса вместо какого-то процента страниц выдавать 304 отклик.
SergoZD, вот правильное решение