Запретить роботам парсить сайт!

12
web2master
На сайте с 13.06.2012
Offline
33
9270

Что будет если запретить роботам, кроме Google и Яндекс парсить сайт? Например при заходе любых ботов кроме тех кто интересен, выдавать 404 ошибку. В robots.txt ничего не менять. Весь вопрос в принципе в нагрузке на хостинг. Есть несколько многотысячностраничных сайтов на одном хостинге, которые нереально часто парсят кому не лень.

Суть вопроса: Отреагируют ли негативно Яндекс и Google как нить на такую организацию работы сайта или им пофигу? Понимаю, что мы всего лишь предполагаем, но вдруг кто-то уже эксперементировал...

Не отвлекайте Платонов по такой ерунде как индексация ваших сайтов... parser.web2master.ru (parser.web2master.ru)
LEOnidUKG
На сайте с 25.11.2006
Offline
1674
#1

А с каких пор парсющии роботы отличают от обычных пользователей? :D

Вы вообще не в теме :)

Для вас только вычислять этих ботов и банить по IP.

✅ Трастовых площадок под размещение статей и ссылок. Опыт 15 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Новый аналог AllSubbmitter https://getmanylinks.ru/getmanysubmits.html (Бесплатное демо)
web2master
На сайте с 13.06.2012
Offline
33
#2

LEOnidUKG, т.е. Вы всё таки считаете, что поисковые системы подделывают свои имена? Я как раз таки имел ввиду только официальных ботов. С парсилками страниц я борюсь каптчей по количеству запросов на определённый период времени.

LEOnidUKG
На сайте с 25.11.2006
Offline
1674
#3
web2master:
LEOnidUKG, т.е. Вы всё таки считаете, что поисковые системы подделывают свои имена? Я как раз таки имел ввиду только официальных ботов. С парсилками страниц я борюсь каптчей по количеству запросов на определённый период времени.

Ну так вы и говорите, что вы про поисковых ботом говорите. Только вот интересно, какой бот от какой ПС на вашем хостинге вызвал нагрузку?

web2master
На сайте с 13.06.2012
Offline
33
#4

LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов. Поэтому, даже Яндекс с Google иногда перебарщивают. Я уже не говорю про bing mail rambler solomono msn yahoo alexa и совсем непонятные ahrefsbot и ezooms.

GC
На сайте с 09.04.2007
Offline
159
GKC
#5
web2master:
LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов..

.. более несколько сотен... супер выражение :)

web2master:
LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов..

И вы после этого такие вопросы задаете😮

Автоматическое удаление информации (http://www.gkclab.com/russ/terminator/terminator.html) ... Мистический туризм (http://mystictourism.com/) в гости к призракам...
web2master
На сайте с 13.06.2012
Offline
33
#6
GKC:
И вы после этого такие вопросы задаете

Вас смутила неправильность окончания (несколько/нескольких) или использование (более), а может то что у меня несколько сотен сайтов, а я задаю примитивные вопросы? )))) Я действительно не знаю как отреагируют Яндекс и Google если я перекрою доступ других поисковых систем к контенту. Вдруг они посчитают это за клоакинг?!!!!

L
На сайте с 07.12.2007
Offline
351
#7
web2master:
Что будет если запретить роботам, кроме Google и Яндекс парсить сайт?
. . .
Отреагируют ли негативно Яндекс и Google как нить на такую организацию работы сайта или им пофигу?

Им пофигу на другие ПС, за 5 лет негативной реакции замечено не было.

Робота Yahoo придётся банить по диапазону IP и ЮзерАгенту - он слишком любопытен и "кладёт" на robots.txt. Индексирует много и часто, трафа даёт - 0(в Рунете).

PS: Весь вопрос - как грамотно отделить роботов от посетителей. Но это - тема уже не для паблика, придётся думать самому.

Solmyr
На сайте с 10.09.2007
Offline
501
#8
web2master:
LEOnidUKG, Дело в том, что у меня на хостинге более несколько сотен доменов. Поэтому, даже Яндекс с Google иногда перебарщивают. Я уже не говорю про bing mail rambler solomono msn yahoo alexa и совсем непонятные ahrefsbot и ezooms.

Мэйл и Рамблер банить точно не надо.

А если нормальные белые проекты, а не полусателлиты, то и Бинг, Яху и Алексу тоже банить не надо.

ValdisRu
На сайте с 02.10.2006
Offline
139
#9
web2master:
Весь вопрос в принципе в нагрузке на хостинг. Есть несколько многотысячностраничных сайтов на одном хостинге, которые нереально часто парсят кому не лень.
web2master:
Дело в том, что у меня на хостинге более несколько сотен доменов.

это у вас на виртуальном хостинге такое хозяйство? а что за хостинг и тарифный план? на выделенный сервер переехать не предлагали?

по сабжу, банил яху, бинг, апорт, и еще кучу всяких непонятных - проблем с яшей и гошей замечено не было

Обалденный заработок на социальных сетях (https://goo.gl/Qtsq6M)
S
На сайте с 29.01.2006
Offline
404
#10

web2master,

совсем непонятные ahrefsbot

ahrefs - это сервис для сбора бэклинков и прочей статистики.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий