- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Робот Яндекса воспринимает инструкции выставленные только в блоке по умолчанию User-agent: *
Свои же инструкции не выполняет почему-то.
Убедиться в этом можно либо здесь по указанным используемым секциям, либо по delurl'у.
Глюк?
Да, есть такое дело.
Видимо глюк. :)
Нет, не глюк. Они что-то там чинят, явно. Еще поза-позавчера все было норм.
есть такое дело.
серьезный глюк...
Подтверждаю, роботс игнорится, на запрос удаления в вебмастере страницы, запрещенной к индексированию в роботсе - выдает такое:
А смысл обращения конкретно к роботу Яндекса?
Даже в панели ВМ при проверке robots.txt показывает
User-Agent: *
хотя до этой секции стоит User-Agent: Yandex
PS вот интересно, теперь же Яндекс и строку Host не видит.
теперь яка расклеиться
http://yaca.yandex.ru/robots.txt
🤣
А смысл обращения конкретно к роботу Яндекса?
Например, в инструменте проверки robots.txt в Яндекс.Вебмастере, на который уже выше дали ссылку, написано что
Поэтому, если хотите анализировать правильно ли прописали все правила под Яндекс в вебмастере, нужно делать отдельный блок под этого user-agent-а.
А вообще, ведь, у разных поисковиков, могут быть и разные правила оформления роботса...
А вообще, ведь, у разных поисковиков, могут быть и разные правила оформления роботса...
Вообще в Рунете актуальны только два - Яндекс и Гугл, Рамблер и Мейл ру рано или поздно перейдут на них, Бинг если только, но он современный и поисковики давно договорились о правилах :)
"проверка производится для робота с именем Yandex" - это означает что данные правила будут именно так работать для Яндекса, но не обязательно для других, про писать блок отдельно для Яндекса ничего не сказано - я считаю это абсолютно ненужным дублированием
Скорее всего временно.... тоже заметил