- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Блин, теперь появилась проблема с другой стороны:
Конструкция вида, запрещает индексацию дублей категорий, но также запрещает и индексацию объявлений:(
Disallow: /*/real-estate/
Allow: /ru/real-estate/
Влажные мечты, но может можно как-то сделать и подобное?
https://edc.sale/ru/real-estate/ - разрешено к индексации
https://edc.sale/ru/moskva/real-estate/ - запрещено к индексации
https://edc.sale/ru/moskva/real-estate/sale/flats/second/prodam-2-kh-komn-kvartira-v-gorode-saki-13918.html - разрешено к индексации
Если нельзя через robots, может быть можно через htaccess? У кого какие мысли? Готовы даже дать небольшое вознаграждение за решение:)
Блин, теперь появилась проблема с другой стороны:
Конструкция вида, запрещает индексацию дублей категорий, но также запрещает и индексацию объявлений:(
Disallow: /*/real-estate/
Allow: /ru/real-estate/
Влажные мечты, но может можно как-то сделать и подобное?
https://edc.sale/ru/real-estate/ - разрешено к индексации
https://edc.sale/ru/moskva/real-estate/ - запрещено к индексации
https://edc.sale/ru/moskva/real-estate/sale/flats/second/prodam-2-kh-komn-kvartira-v-gorode-saki-13918.html - разрешено к индексации
Если нельзя через robots, может быть можно через htaccess? У кого какие мысли? Готовы даже дать небольшое вознаграждение за решение:)
если прописывать с регулярками, вычленяя нужный набор символов, очень вероятно будет конфликт из-за вашей структуры урл.
если страниц не мильон, то захерачить в роботсе абсолютные урл всех страниц. какие заблочить, какие открыть. Notepad++ вам в помощь
Allow: /ru/moskva/real-estate/sale/flats/second/prodam-2-kh-komn-kvartira-v-gorode-saki-13918.html
Allow: /ru/moskva/real-estate/sale/flats/second/prodam-2-kh-komn-kvartira-v-gorode-saki-100500.html
Disallow: /ru/moskva/real-estate/
Disallow: /ru/moskva/real-estate-5446546/
самое очевидное.
---------- Добавлено 19.02.2019 в 12:19 ----------
Disallow: /*/real-estate/
Allow: /ru/real-estate/
* значит любой набор символов.. эти две строки противоречат друг другу по сути.
изучите
оптимальное решение проблемы - это добавление мета тега noindex, follow в хедаре вашего сайта. обратиться к программисту толковому.
Влажные мечты, но может можно как-то сделать и подобное?
https://edc.sale/ru/real-estate/ - разрешено к индексации
https://edc.sale/ru/moskva/real-estate/ - запрещено к индексации
https://edc.sale/ru/moskva/real-estate/sale/flats/second/prodam-2-kh-komn-kvartira-v-gorode-saki-13918.html - разрешено к индексации
Disallow: /*/*/real-estate/$
Allow: /ru/real-estate/
* значит любой набор символов.. эти две строки противоречат друг другу по сути.
Нет:
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно.
То есть при запросе урла https://site.com/ru/real-estate/ будет применяться только директива Allow, потому что она длиннее. А для всех остальных будет Disallow, потому что они не подпадают под условие Allow.
Работает! Помимо лайка, можно чуть-чуть отблагодарить финансово?) Скиньте в ЛС реквизиты что имеется)
Disallow: /*/*/real-estate/$
Allow: /ru/real-estate/
Нет:
То есть при запросе урла https://site.com/ru/real-estate/ будет применяться только директива Allow, потому что она длиннее. А для всех остальных будет Disallow, потому что они не подпадают под условие Allow.
Здравствуйте. Подскажите, пожалуйста, что-ли поменялась логика составления robots.txt? Раньше вроде не ругался робот на недоступность ресурсов, теперь появились ошибки, мол заблокирован в robots.txt
Например такой урл https://04744.biz/components/com_adsmanager/images/new.gif
Инструмент проверки говорит, что заблокирован правилом
Disallow: /components/
ниже в этом блоке
Allow: /*.gif$
Вроде ж раньше работало.
В моем случае сначала срабатывает Allow: /*.gif$, потому что короче, а потом Disallow: /components/?
lustoff, а что неясного в инструкции? https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html
lustoff, а что неясного в инструкции? https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html
1. префикс - это кусок урла?
2. логика менялась, раньше шли директивы в порядке последовательности а не в зависимости от длины префикса? или так всегда было?
2 не всегда, но уже довольно давно.
2 не всегда, но уже довольно давно.
Спасибо, я просто в танке.
Подскажите, пожалуйста, еще что за "Другая ошибка" в Search Console?
Нашёл похожую тему - может кому пригодится https://plus.google.com/111816577913058385301/posts/R6zooALwvg7
Только не понял, что мне нужно там менять. Если кто подскажет - буду очень благодарен