- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Если я хочу запретить паукам ramblera индексировать мой сайт,
как правильнее будет составить robots.txt:
1)
User-agent: StackRambler/2.0
Disallow: /
или будет достаточно
User-agent: StackRambler
Disallow: /
т.е писать полное имя робота или можно ограничиться
названием без версии?
Второй вариант. См. http://www.rambler.ru/doc/robots.shtml
А всех роботов Яндекса можно описать только так:
User-agent: yandex
или надо всех описывать отдельно I, D, M и т.д. и т.п.?
А несколько роботов в одной строке User-Agent как писать, через запятую или через пробел? 🙄
Понятно, что вопросы чайниковские, но как-то нет нигде однозначных ответов. Хочется до конца систематизировать.
И еще. Директиву Host как правильно указывать. После каждого User-Agent`a или в конце всего файла достаточно?
User-agent: yandex
Да. Только, к примеру, роботу с литерой D директивы robots.txt по барабану. Яндексоиды не всех своих роботов за роботов считают. Поэтому некоторые из них robots.txt игнорируют.
AFAIK, нельзя так делать. Либо только одного, либо всех сразу (User-agent: *).
Можно на нескольких сразу делать так:
User-agent: StackRambler
User-agent: Yandex
Disallow: /
...Можно на нескольких сразу делать так:
User-agent: StackRambler
User-agent: Yandex
Disallow: /
Уважаемый, ИМХО, так вообще делать нельзя.
...Строка с полем User-Agent... должна предшествовать строкам с полем Disallow...
Мне кажется, что в Вашем случае строка для робота StackRambler проигнорируется.
А насчет того, можно или нельзя вместе, здесь четкий ответ - можно.
...если в записи указано более одного имени робота, то права доступа распространяются для всех указанных имен...
Вот только не указано, как писать имена, если их более одного.
Давайте разбираться ;)
Каждая строка представляет собой следующее:
<field>:<optionalspace><value><optionalspace>
ИМХО, <value> не может быть перечислением, так как возникнут неоднозначности с трактовкой имени робота.
А запись от записи отделяется пробелами:
Отсюда делаем вывод: следует писать несколько строк с User-agent, одна строка для одного робота.
Использовался следующий стандарт.
Как и для М. Разработчики руководствуются тем, что эти два зверя запускаются непосредственно пользователем.
...ИМХО, <value> не может быть перечислением, так как возникнут...
На Ваше ИМХО, у меня есть свое ИМХО :). Любой программер скажет, что параметр value может быть перечисленным. Вопрос в том, что является разделителем.
Вообщем же я принимаю Ваши доводы, но резюмирую, что по обоим вопросам нет однозначного ответа. И Ваши, и мои источники информации авторитетны, и имеют принципиальные расхождения. Нужен тритейский судья. Ждем. 🚬
Нет тут никаких расхождений, это один и тот же документ на разных языках :) Расхождения только в трактовке.
Подождем Артема (aka AiK), он нас и разнимет.
В справке Яндекса рекомендуют статью на CITForum посвященную robots.txt.
Там вначале написано, что:
Любая запись (record) должна состоять хотя бы из одной строки (line) User-Agent и одной - Disallow
А потом:
В настоящее время стандарт несколько изменился, например, можно записывать в строке User-Agent несколько имен роботов, разделенных пробелами или табуляторами.