- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
если robots.txt составлен не по стандарту робот действует по своей интрукции ,которую кроме разработчиков, естественно, не знает, поэтому все варианты - имхи.
может даже каждый раз по разному будет восприниматься.
Стандарт считает по другому. Если ошибка в секции то секция должна быть проигнорирована целиком. Но так как яндекс "идет своим путем", то мне интересно какое зеркало будет основным.
У меня один вопрос? Нафига два раза хост? Чтоб для верняка? Чтоб яндекс допер, да! японамама, точно хост. Хостхост! 😂
решил зайти :)
1. Правила robots.txt:
Любая неизвестная директива просто игнорируется и никак не влияет на парсинг остальных директив в секции. И до, и после неизвестной директивы.
2. Яндекс-индексирующий робот:
Директива Host сейчас не используется. Хотя, вообще говоря (на случай, если вдруг будет использоваться), валидны все директивы Host.
3. Яндекс-робот-заркальщик:
Используется первая директива Host из встретившихся.
Если в роботс 2 тэга Host какой из них будет использоваться?
Это чисто теоретический вопрос или это знание как-то можно использовать на практике?
Если в роботс 2 тэга Host какой из них будет использоваться?
Третий!
На хост яндексу плевать с высокой колокольни - сколько ни проверяли влияние, кроме "может быть оно как-то смутно влияет" результата нет.
На хост яндексу плевать с высокой колокольни - сколько ни проверяли влияние, кроме "может быть оно как-то смутно влияет" результата нет.
то есть ? насколько я понимаю, если прописано, к примеру:
то индексация http://mysite.ru для Янда запрещена.
Костя Джипег, вовсе нет. Хватает случаев индексации сайтов не по тому адресу, что прописан в хост. При том, что на всех зеркалах в хост прописан один сайт. Да Вы сами проверьте на ненужных зеркалах, проверка-то простая.
-=Илья=-это так
но, все же, прописка хоста не помешает
имхо кнчн.
Ctulhu, Я не говорю что я пропишу два раза хост. Я говорю про сайт на котором это МОЖЕТ быть сделано и мне интересно какие это может иметь последствия.
shikari, Зачем это может быть использовано? Ну например чтобы обмануть проверяльщики ссылок и против этого обмана нужно защищаться.
shikari, Вы не правы. Стандарт указывает однозначно что в случае ошибки должна игнорироваться вся секция. Однако у Яндекса действительно свое мнение на этот счет. И откуда информация что зеркальщик возьмет именно первую директиву или это догадка?
Вообщем нашел и почитал документацию на сайте. Оказалось все очень просто. Из всех зеркал обнаруженных зеркальщиком индексируются только те которые указаны в директивах Host. То есть если есть 5 зеркал site1.ru ... site5.ru и на каждом такой robots.txt
то яндекс будет индексировать только зеркала site1.ru и site2.ru из которых он сам выберет основное. Если бы мы указали одно зеркало то выбора у него не было бы.