- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Что будет если запретить роботам, кроме Google и Яндекс парсить сайт? Например при заходе любых ботов кроме тех кто интересен, выдавать 404 ошибку. В robots.txt ничего не менять. Весь вопрос в принципе в нагрузке на хостинг. Есть несколько многотысячностраничных сайтов на одном хостинге, которые нереально часто парсят кому не лень.
Суть вопроса: Отреагируют ли негативно Яндекс и Google как нить на такую организацию работы сайта или им пофигу? Понимаю, что мы всего лишь предполагаем, но вдруг кто-то уже эксперементировал...
А с каких пор парсющии роботы отличают от обычных пользователей? :D
Вы вообще не в теме :)
Для вас только вычислять этих ботов и банить по IP.
LEOnidUKG, т.е. Вы всё таки считаете, что поисковые системы подделывают свои имена? Я как раз таки имел ввиду только официальных ботов. С парсилками страниц я борюсь каптчей по количеству запросов на определённый период времени.
LEOnidUKG, т.е. Вы всё таки считаете, что поисковые системы подделывают свои имена? Я как раз таки имел ввиду только официальных ботов. С парсилками страниц я борюсь каптчей по количеству запросов на определённый период времени.
Ну так вы и говорите, что вы про поисковых ботом говорите. Только вот интересно, какой бот от какой ПС на вашем хостинге вызвал нагрузку?
LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов. Поэтому, даже Яндекс с Google иногда перебарщивают. Я уже не говорю про bing mail rambler solomono msn yahoo alexa и совсем непонятные ahrefsbot и ezooms.
LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов..
.. более несколько сотен... супер выражение :)
LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов..
И вы после этого такие вопросы задаете😮
И вы после этого такие вопросы задаете
Вас смутила неправильность окончания (несколько/нескольких) или использование (более), а может то что у меня несколько сотен сайтов, а я задаю примитивные вопросы? )))) Я действительно не знаю как отреагируют Яндекс и Google если я перекрою доступ других поисковых систем к контенту. Вдруг они посчитают это за клоакинг?!!!!
Что будет если запретить роботам, кроме Google и Яндекс парсить сайт?
. . .
Отреагируют ли негативно Яндекс и Google как нить на такую организацию работы сайта или им пофигу?
Им пофигу на другие ПС, за 5 лет негативной реакции замечено не было.
Робота Yahoo придётся банить по диапазону IP и ЮзерАгенту - он слишком любопытен и "кладёт" на robots.txt. Индексирует много и часто, трафа даёт - 0(в Рунете).
PS: Весь вопрос - как грамотно отделить роботов от посетителей. Но это - тема уже не для паблика, придётся думать самому.
LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов. Поэтому, даже Яндекс с Google иногда перебарщивают. Я уже не говорю про bing mail rambler solomono msn yahoo alexa и совсем непонятные ahrefsbot и ezooms.
Мэйл и Рамблер банить точно не надо.
А если нормальные белые проекты, а не полусателлиты, то и Бинг, Яху и Алексу тоже банить не надо.
Весь вопрос в принципе в нагрузке на хостинг. Есть несколько многотысячностраничных сайтов на одном хостинге, которые нереально часто парсят кому не лень.
Дело в том, что у меня на хостинге более несколько сотен доменов.
это у вас на виртуальном хостинге такое хозяйство? а что за хостинг и тарифный план? на выделенный сервер переехать не предлагали?
по сабжу, банил яху, бинг, апорт, и еще кучу всяких непонятных - проблем с яшей и гошей замечено не было
web2master,
ahrefs - это сервис для сбора бэклинков и прочей статистики.