- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приветствую!
Кто может выставить логическую цепочку в смысле такого robots?
Я понимаю, что вебмастер удалился их Вебархива и предпринял другие защитные действия от сканирования пауков, хотя не до конца все понимаю в этих пауках и роботах... Какую цель преследует вебмастер своими действиями в этом файле? Предполагаю, что он купил домен на аукционе и восстановил старый сайт из Вебархива предыдущих владельцев... А может это быть вебмастер, который изначально создавал этот сайт? Смущает, что он удалил многолетнюю историю сайта из Вебархива. Как вы думаете? Этот домен дропнули или первый владелец делает странные манипуляции?
Соержание robots.txt:
User-agent: ia_archiver
Disallow: /
User-agent: majestic-12
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: gigabot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: exabot
Disallow: /
User-agent: linksmanager
Disallow: /
User-agent: larbin
Disallow: /
User-agent: MJ12bot
Disallow: /
Закрылся от сеошных инструментов и мелких поисковиков.
Scaryer, а какой смысл? Это старый владелец или домен дропнули?
P.S. WHOIS закрыт и хостинг остался прежним.
Sergh545, смысл не знаю - у каждого же свои тараканы в голове. Например, не хочет, чтобы другие сеошники видели его ссылки или другие параметры, которые эти роботы собирают.
Или не хочет, чтобы ненужные поисковые роботы создавали нагрузку на его сайт.
Закрытие доступа на сайт роботам различных сервисов.
Паранойя)