- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Пожалуйста.
Указанные настройки в robots.txt к возможностям анализа сайта пользователями не относятся.
Они в принципе бесполезны, ибо необязательны к выполнению.
То есть если включить эти настройки, любой юзер сможет все равно проанализировать этот, сторонний для него, сайт через, например, ахрефс или семруш?
То есть если включить эти настройки, любой юзер сможет все равно проанализировать этот, сторонний для него, сайт через, например, ахрефс или семруш?
Конечно.
Вот недавний пример. Была задача аудита сайта. В настройках не то, что в robots-е была инструкция на запрет индексации, в htaccess был запрет для заходов, с определёнными User-Agent-ами. Т.е. физически сервер не должен отдавать информацию по этому условию.
Так вот, среди них был явный запрет на парсинг данных для сервиса keys.so. Т.е. это не просто рекомендательная инструкция, это вообще физическое блокирование роботов среди которых был и keys.so.
Ну и что вы думаете? Я захожу в сервис keys.so, чтобы проверить есть ли там данные по этому сайту и вижу, что - да, есть и в том числе самые свежие.
Отсюда вывод, что все эти запреты - ерунда, сервисы скорее всего представляются поисковыми ботами и собирают необходимые данные, ведь это их хлеб.
Не скажу про Ahref, уже им не пользуюсь, но думаю, что в выборе - выполнить задачу или не выполнять, потому что вебмастер где-то в инструкции написал - не выполнять, сервис всё-таки выполнит.