- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Блокировка ботов посредством файла .htaccess
Нет, с этим все понятно и, извините, это как раз в пользу бедных, потому, что я, когда что-то сканю, в первую очередь меняю юзерагента.
Речь исключительно про robots.txt, зачем там исключать черным списком, когда можно исключать белым?
Всякие Semrush, даже Мылру и Bing, которые сканят все мои страницы, но приводят меньше 10 пользователей в месяц, зато могут быть источником каких-то совсем ненужных мне исследований сайта или выбора его для парсинга...
Они могут менять User-Agent и наверняка это делают, чтобы как раз не нарываться на явный запрет.
Robots.txt не решает данные задачи, роботс актуален для управления областями индексирования основными ПС.
Они, конечно, могут менять что угодно, но я о том и говорю, что в robots.txt запретить ВСЕМ, кроме основных ПС.
2 страницы вам толкуют, что "запретить" вы можете что угодно и кому угодно, только всем до лампочки, что вы там "запрещаете"!
Они, конечно, могут менять что угодно, но я о том и говорю, что в robots.txt запретить ВСЕМ, кроме основных ПС.
Запрещайте, вам никто не мешает.
Позвольте задать уточняющий вопрос.
Если я блокирую ботов в файле .htaccess директорией, представленной ниже, существует дли вероятность того, что я ограничу доступ роботам Гугла и Яндекса?
только всем до лампочки, что вы там "запрещаете"!
Я две страницы толкую, что не так это, достаточно много ботов все же слушаются. Вот юзера и суммарное, стрелкой поставил, где поменял.
Я две страницы толкую, что не так это, достаточно много ботов все же слушаются. Вот юзера и суммарное, стрелкой поставил, где поменял.
Делай!
Я две страницы толкую, что не так это, достаточно много ботов все же слушаются. Вот юзера и суммарное, стрелкой поставил, где поменял.
вредоносные боты не идентифицируют себя или маскируются под гугл или яндекс.
Если я блокирую ботов в файле .htaccess директорией, представленной ниже, существует дли вероятность того, что я ограничу доступ роботам Гугла и Яндекса?
Фактические вышеуказанным кодом вы блокируете любые заходы, которые в юзер агенте содержат следующие записи:
следовательно, если мы возьмём программу Screaming Frog и выставим там что-то из указанного, то сервер должен нас заблокировать (так как раз можно проверить, насколько это рабочая конструкция работает).
Теперь переходим к ответу на поставленный вопрос - нет, боты Яндекса и Гугла не используют ничего из представленного в перечне, поэтому блокировать не должно.