- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый вечер, друзья и коллеги.
Просидел я целый час перечитывая и вникая в новые правила учета директив в файле robots.txt. И ни разу не понял, что же измениться и в каком месте это станет проще или удобнее, как это заявил Яндекс. Я пока увидел только потерю времени и усложнение анализа файлов для вебмастера (для ботов яндекса может и будет проще).
Проведя небольшой опрос в аське, сделал вывод, что большинство вебмастеров просто клали на эти и многие другие изменения Яндекса.
Но мне хотелось бы разобраться, что поменялось (или поменяется?).
Давайте на нескольких примерах рассмотрим, что было и что стало.
User-agent: *
Allow: /search/map.php$
Allow: /search/$
Disallow: /bitrix/
Disallow: */search/
Host: www.site.ru
Для такого файла кто-нибудь может составить примеры урлов, индексация которых изменилась с введением новых правил? Т.е. был урл такой-то он при старых правилах индексировался, а теперь индексироваться не будет.
Может быть вы сможете на своих простых примерах небольших файлов показать, что конкретно изменилось в индексации с введением новых правил учета директив allow и disallow?
В данном случае ничего не изменится.
Просто раньше в таком варианте:
Disallow: */search/
Allow: /search/map.php$
Allow: /search/$
Disallow: /bitrix/
были бы запрещены для индексации все категории search, а по новым правилам, такой порядок директив будет обрабатываться также, как и указанный вами вариант. То есть первыми будут обрабатываться директивы для более "коротких" URL, независимо от того, в какой последовательности эти директивы будут прописаны.
/search/map.php получается запрещен, если я правильно понимаю.
вообще конструкция так себе. Если у вас поиск на get, запретите лучше /search/?, или что у вас там как управляющий скрипт и замените три строки на одну
dustyo_O, Директива Allow: /search/map.php$ будет обрабатываться раньше Disallow: */search/, т.к в первом случае префикс URL меньше.
По поводу трех строк в одной - не понял. ТС хочет разрешить два конкретных URL к индексации, если я правильно понял, и тут одной строкой не обойдешься. Но могу и ошибаться, тут, конечно, без примеров адресов не разберешь.
А как нужно прописать в роботс, чтобы ничего не индексировалось, кроме главной страницы и страницы контактов ?
А как нужно прописать в роботс, чтобы ничего не индексировалось, кроме главной страницы и страницы контактов ?
Disallow: /
Allow: index.php
Allow: contact.php
Ну и указать юзер-агент и хостс, если нужно. По крайней мере раньше было так.
Сейчас иначе?
Вебмастера действительно клали на это все дело, но это неправильно, особенно для серьезных проектов. Где-то встречал пример пессимизации сайтов путем воода в индекс дублей. Вот к примеру выше можно ввести еще 10 страниц: index.php?page=1, index.php?page=2, 3 ... 10 - все они будут одинаковые и, скорее всего, повлияют на позиции (правда не в конкретно этом примере).
Disallow: /
Allow: index.php
Allow: contact.php
.
А страница www.главная.ru и www.главная.ru/index.php для яндекса считается одной и той же или поставить 301 с www.главная.ru на www.главная.ru/index.php ?
или поставить 301 с www.главная.ru на www.главная.ru/index.php
Не надо ставить редирект с www.главная.ru 🙅
Не надо ставить редирект с www.главная.ru 🙅
Окей, спасибо.
Думаю вот так будет правильно:
User-agent: *
Disallow:
Sitemap: http://www.главная.ru/sitemap.xml
User-agent: Yandex
Allow: index.php
Allow: contact.php
Disallow: /
Host: www.главная.ru
Или поменять местами?
Allow: index.php
Allow: contact.php
безусловно,
Allow: /index.php
Allow: /contact.php
User-agent: Yandex
Allow: index.php
Allow: contact.php
Disallow: /
Проверьте здесь - http://webmaster.yandex.ru/robots.xml
www.главная.ru запрещена.
Нужно еще: Allow: /