- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
А как все таки правильно - так
User-agent: Yandex
Host: www.example.com
или так?
User-agent: Yandex
Disallow:
Host: www.example.com
Второе. По стандарту, хотя бы один Disallow в секции должен быть.
И, кстати, насчет Host в секции * - опять же по стандарту, неизвестные директивы должны игнорироваться, так что по большому счету все равно, как делать. Хотя, например, у Рамблера - неизвестная роботу директива/комментарий - это разделитель секции.
Второе. По стандарту, хотя бы один Disallow в секции должен быть.
И, кстати, насчет Host в секции * - опять же по стандарту, неизвестные директивы должны игнорироваться, так что по большому счету все равно, как делать. Хотя, например, у Рамблера - неизвестная роботу директива/комментарий - это разделитель секции.
Я так пробовал - Яндекс ворчал насчет пустой директивы Disallow, так что оставил первый вариант
Вот что думает яша
Ошибки при разборе robots.txt
Строка Сообщение
2: Disallow: Найдено пустое правило
Все спорят и я так и не понял.... Так как правильнее прописывать host для всех роботов или только для <noindex> тупых </noindex>
User-agent: Yandex
Disallow: /vse
Host: www.example.com
User-agent:*
Disallow: /vse
Host: www.example.com
Имхо. Просто не уверен что яшко будет читать дальше после "*", а то что остальные проигнорируют яшкину секцию я уверен.
Еще одна полезная ссылка
Жалко что про хост там ничего не грит скрипт, но и так сойдет.
T.R.O.N, вы некомпетентны в этом вопросе выше всякой меры. и 6й ИЕ, и фф с оперой прекрасно обрабатывают doctype, причем разницы в отрисовке у ff с оперой при указании doctype практически нет, а у ие только проблема с размерами, лекго решаемая впрочем без использования хаков. без указания doctype все браузеры переключаются в режим совместимости, кто что под этим понимает. ИЕ например переключается на диалект хтмл, который в 5-ом использовался, со всеми его глюками, а фф с оперой вообще кто в лес кто по дрова. ну если вы верстаете такую лажу как морда яндекса, то да, там не нужно. флаг вам в руки и можете идти туда же, куда лебедев.
2: Disallow: Найдено пустое правило
что то вы путаете, только что проверил, яндекс никак не среагировал на 1 пустую директиву
Хотя, например, у Рамблера - неизвестная роботу директива/комментарий - это разделитель секции.
вот, пожалуйста. о чем я и говорил. явный баг в парсере . короче я все сказал, имеющий моск да сделает выводы.
Megavolt,
главное, что при указанни doctype (4.0 и 4.01)с урлом (я уже не говорю об обычном обявлении), броузеры переходят в Almost Standards Mode, которые тоже трактуется каждым производителем произвольно. Конечно, в нем разногласий чуть меньше в Quirks Mode но всеже достаточно.
Для получения порядочной переноссимости сайта, независимо от сложности, достаточно просто немного думать перед тем как делать.
И это правильно. Все то, что указанно на w3.org является набором рекомендаций, а не правил.
Это касается и CSS и robots.txt и подобного. Пока будут разные производители, будут существовть разные мнения о рекомендациях.