- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Если в файле Robots.txt мне нужно запретить к индексации файл data.xml, который лежит в корневой папке (т.е. там же где и сам robots), то написать надо
вот так:
User-agent: *
Disallow: /data.xml
User-agent: Yandex
Disallow: /data.xml
Host: www.site.ru
или так:
User-agent: *
Disallow: data.xml
User-agent: Yandex
Disallow: data.xml
Host: www.site.ru
?
Если в файле Robots.txt мне нужно запретить к индексации файл data.xml, который лежит в корневой папке (т.е. там же где и сам robots), то написать надо
вот так:
"вот так":
User-agent: *
Disallow: /data.xml
User-agent: Yandex
Disallow: /data.xml
Host: www.site.ru
User-agent: *
Disallow: /data.xml
User-agent: Yandex
Disallow: /data.xml
Host: www.site.ru
Кстати хоть в справке Яндекса и написано
они ее используют. Конечно, полный бред для них дублировать все директивы.
Уберите из роботса все под "User-agent: Yandex" и посмотрите - они будут в вебмастере - "Документ запрещен в файле robots.txt"
Да и вообще поменьше верьте их справке, они врут постоянно. Верьте экспериментам.
Не будет использована если объявлен юзер-агент яндекса, не надо читать между строк.
User-agent: *
Disallow: /cat.php
User-agent: Yandex
Disallow: /index.php
А результат эксперимента таков, что для яндекса index.php будет закрыт, а cat.php нет
поменьше верьте их справке, они врут постоянно. Верьте экспериментам.
cheredov, давайте от слов к делу. Приведите пример robots.txt, который работает не так, как написано в справке. Даю вам две попытки.
Сделаем сайт, будем вести логи, посмотрим за индексацией, проверим чекером на webmaster.yandex.ru, все как положено.
Если не сможете привести такой пример - пеняйте на себя.
И будьте осторожнее, вырванная строка из справки типа
означает ваше немедленное поражение.
Ну или если не можете привести пример для изучения, можете сразу забрать свои слова обратно, скажите что погорячились или не разобрались в том, что написано в help.yandex.ru .
cheredov добавил 01.09.2011 в 20:51
можете сразу забрать свои слова обратно, скажите что погорячились или не разобрались в том, что написано в help.yandex.ru .
Забираю свои слова обратно. Я погорячился и не разобрался, что написано в справке Яндекса. 😒 Не пинайте больно.
Насчет того, что справка Яндекса врет, остаюсь при своем мнении, примеры если кому то нужны приведу. Насчет дублирования директив для User-agent: * и User-agent: Yandex согласны?
Если у кого есть примеры XML-документов (именно XML c соотв. HTTP-заголовками, а не файлы.xml) в индексе ПС, то покажите, можно в ЛС... последнее время в Я остались единичные исчезающие случаи... в G больше.
Насчет того, что справка Яндекса врет, остаюсь при своем мнении
Ну про XML ТП врёт почти прямо... говорят: не индексим, а иконка
зачем?
cheredov, OK.
А жаль, я бы посмотрел на пример, на эксперимент, попробовали бы добиться повторяемости.
Полное дублирование блоков для Яндекса - да, согласен, оно обычно ни к чему. Директиву Host , как оказалось, можно писать вообще отдельно.
Директиву Host , как оказалось, можно писать вообще отдельно.
Вот уж я не знала. В любом месте роботса чтоли?
или это имеется ввиду:
User-agent:Yandex
Disallow: /
User-agent:*
Disallow: /
Host: www.site.ru
?
но лучше писать непосредственно после всех Disallow.