- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть robots.txt весьма стандартного вида
User-Agent: Yandex
Disallow:
Host: www.mysite.ru
User-Agent: *
Disallow:
Вопрос. Почему панель вебмастера находит ошибку такого вида
2: Disallow: Обнаружено пустое правило
Если в примерах сам яндекс указывает что Disallow: это тоже, что и Allow: /
Скажите, игнорировать ли это предупреждение?
поле Disallow не может быть пустым. Если закрываете папку то /papka/ если весь сайт то Disallow: /
Скажите, игнорировать ли это предупреждение?
Если Вас сильно это беспокоит, то создайте у себя пустую папку и запретите ее в роботсе;)
А почему не:
User-Agent: *
Disallow:
Host: www.mysite.ru
NikitoZZ, они же сами пишут, что может, и что оно трактуется как разрешение к индексации всего сайта. Об этом написано здесь.
fima32, хочется красивое решение.
Str256, потому что директиву Host понимает практически один Яндекс. И наличие ее в указаниях к исполнению теоретически может сбить с толку какой-нибудь малоизвестный и кривоватый поисковик.
А почему не:
User-Agent: *
Disallow:
Host: www.mysite.ru
Потому-что поле Disallow: не может быть пустым! Правильно писать так:
User-agent: *
Disallow: /
Host: www.mysite.ru
NikitoZZ, так вы запретите к индексации весь сайт целиком. Это отнюдь не то чего я добиваюсь.
NikitoZZ, так вы запретите к индексации весь сайт целиком. Это отнюдь не то чего я добиваюсь.
Allow: / а тут тогда папки для индексации
или
Disallow: /папка которую закрыть/
ТС, имел ввиду, вот что:
Отсутствие параметров у директивы трактуется следующим образом:
User-agent: Yandex
Disallow: # тоже что и Allow: /
User-agent: Yandex
Allow: # тоже что и Disallow: /
Символ '#' предназначен для описания комментариев.
Можно Disallow: заменить на Allow: /
потому что директиву Host понимает практически один Яндекс. И наличие ее в указаниях к исполнению теоретически может сбить с толку какой-нибудь малоизвестный и кривоватый поисковик.
Не думаю. Пишите, как я указал выше. Проверить можно тут: http://www.yandex.ru/cgi-bin/test-robots
Есть robots.txt весьма стандартного вида
...
Вопрос. Почему панель вебмастера находит ошибку такого вида
потому что она глючит
нормальный роботс, у меня на многих сайтах такой
ps: смешно видеть "советы", особенно с "Disallow: /"
ИМХО, а что вас так смутило? При таком robots.txt Яндекс пишет "Не найдено ни одного подходящего правила", т.е. нет ни одного правила запрещающего какие-либо разделы сайта к индексации.