- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
нет, чтобы ...
Сидим не палим... 😂
На счёт робота вопрос пока открыт:
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
Данный вариант правильный?
User-agent: msnbot
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
Данный вариант правильный?
Опять неправильно )))
Секции нужно разделять пустой строкой )))
Вот так:
как правильно заметил kimberlit, необходимо Disallow / прописать отдельно для User-Agent MSNа и для User-Agent Yahoo. Приведённый в первом сообщении robots.txt не соответствует стандарту.
Ничего подобного. Никаким стандартам это не противоречит:
The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL). Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.
...
The record starts with one or more User-agent lines, followed by one or more Disallow lines, as detailed below. Unrecognised headers are ignored.
User-agent
The value of this field is the name of the robot the record is describing access policy for.
If more than one User-agent field is present the record describes an identical access policy for more than one robot. At least one field needs to be present per record.
http://www.robotstxt.org/orig.html#format
Кстати, яхувский бот откликается на юзер-агент Slurp:
http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-02.html
Судя по всему не противоречит, но ... на практике ни разу не встречал подобного ...
Если кто видел скиньте ссылочку на такой роботс (у серьёзного сайта), пожалуйста ...
Ничего подобного. Никаким стандартам это не противоречит
Кхм. И правда.
Спасибо за поправку.