- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Добрый день, зашел в гугл консоль и мне пишет такое сообщение "Доступ к отправленному URL заблокирован в файле robots.txt"
[ATTACH]180481[/ATTACH]
в чем может быть причина??
Текст роботст
Спасибо
...такое сообщение "Доступ к отправленному URL заблокирован в файле robots.txt"
А примеры заблокированных URL?
voxia,
[ATTACH]180550[/ATTACH]
[ATTACH]180551[/ATTACH]
А что тут неясного, у вас прямо запрещен attachment
shev4ik, ваш ворпресс к каждой статье генерирует страницу (в URL содержится фрагмент /attachment/) с мультимедийным содержанием статьи, в данном случае - с картинками из статьи. Гугл о таких страницах узнаёт из sitemap.xml, хочет посмотреть что там, но ему мешает правило в robots.txt - Disallow: */attachment/*
Если есть мнение, что эти отдельные страницы с картинками должны быть проиндексированы поисковиками, то из robots.txt следует удалить все директивы Disallow: */attachment/*
Но, по-моему, этого делать не надо. Консоль гугла просто уведомляет, что на сайте обнаружен некий контент, куда роботов, по мнению разработчиков ворпресса, пускать не следует.
voxia,
Cпасибо, то есть, проблемы в этом нет?
Всем добрый день.
При аудите сайта на битрикс вылезли ошибки с дублирующимися тегами. При просмотре в ошибки попали следующие типы страниц:
Пример:
https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnye/geotermalnyy_teplovoy_nasos_nibe_f1245_8_r_1x230v_s_bakom_gvs_8_kvt_odnofaznyy/
https://rosa-montazh.com/catalog/teplovye_nasosy/geotermalnyy_teplovoy_nasos_nibe_f1245_8_r_1x230v_s_bakom_gvs_8_kvt_odnofaznyy/
Разница между ними только в добавлении категории "/geotermalnyt/" к одному из них
Какой из этих адресов нужно закрыть в robots.txt и как вообще правильно устранять такие ошибки?
Примерно так:
Allow: /catalog/teplovye_nasosy/geotermalnye/*
Disallow: /catalog/teplovye_nasosy/*
Проверьте корректность в вебмастере яндекса в аналезе robots.txt
В Allow: добавить все нужные категории.
Cпасибо за ответ. Сейчас буду пробовать :)
---------- Добавлено 27.01.2019 в 17:26 ----------
Вот что получилось. Посмотрите, плз насколько правильно составлен robots.txt. Может быть есть какие-то явные ошибки?
User-Agent: *
Allow: /search/map.php
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*?PAGEN*
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Disallow: /e-store/
Disallow: /kompaniya/partnery/
Disallow: /cart/
Disallow: /*?method*
Disallow: /filter/
Allow: /catalog/teplovye_nasosy/geotermalnye/*
Allow: /catalog/teplovye_nasosy/vozdushnye/*
Allow: /catalog/teplovye_nasosy/komplektuyushchie_dlya_teplovykh_nasosov/*
Disallow: /catalog/teplovye_nasosy/*
Allow: /catalog/radiatory/stalnye_panelnye/*
Dissllow: /catalog/radiatory/*
Allow: /catalog/kotly/gazovye/*
Allow: /catalog/kotly/elektricheskie/*
Allow: /catalog/kotly/tverdotoplivnye/*
Allow: /catalog/kotly/dizelnye/*
Dissllow: /catalog/kotly/*
Allow: /catalog/vodonagrevateli_rosa/kosvennogo_nagreva/*
Allow: /catalog/vodonagrevateli_rosa/teploakkumulyatory_bufery/*
Dissllow: /catalog/vodonagrevateli_rosa/*
Allow: /catalog/gorelki_dlya_kotlov/dizelnye_gorelki/*
Allow: /catalog/gorelki_dlya_kotlov/gazovye_gorelki/*
Dissllow: /catalog/gorelki_dlya_kotlov/*
Host: https://rosa-montazh.com
Sitemap: https://rosa-montazh.com/sitemap.xml
User-Agent: Yandex
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Allow: /search/map.php
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*?PAGEN*
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Disallow: /e-store/
Disallow: /*?method*
Disallow: /filter/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Disallow: /kompaniya/partnery/
Disallow: /cart/
Allow: /catalog/teplovye_nasosy/geotermalnye/*
Allow: /catalog/teplovye_nasosy/vozdushnye/*
Allow: /catalog/teplovye_nasosy/komplektuyushchie_dlya_teplovykh_nasosov/*
Disallow: /catalog/teplovye_nasosy/*
Allow: /catalog/radiatory/stalnye_panelnye/*
Dissllow: /catalog/radiatory/*
Allow: /catalog/kotly/gazovye/*
Allow: /catalog/kotly/elektricheskie/*
Allow: /catalog/kotly/tverdotoplivnye/*
Allow: /catalog/kotly/dizelnye/*
Dissllow: /catalog/kotly/*
Allow: /catalog/vodonagrevateli_rosa/kosvennogo_nagreva/*
Allow: /catalog/vodonagrevateli_rosa/teploakkumulyatory_bufery/*
Dissllow: /catalog/vodonagrevateli_rosa/*
Allow: /catalog/gorelki_dlya_kotlov/dizelnye_gorelki/*
Allow: /catalog/gorelki_dlya_kotlov/gazovye_gorelki/*
Dissllow: /catalog/gorelki_dlya_kotlov/*
User-Agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /bitrix/
Disallow: /upload/
Disallow: /search/
Allow: /search/map.php
Disallow: /club/search/
Disallow: /club/group/search/
Disallow: /club/forum/search/
Disallow: /communication/forum/search/
Disallow: /communication/blog/search.php
Disallow: /club/gallery/tags/
Disallow: /examples/my-components/
Disallow: /examples/download/download_private/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /communication/forum/user/
Disallow: /e-store/paid/detail.php
Disallow: /e-store/affiliates/
Disallow: /club/$
Disallow: /club/messages/
Disallow: /club/log/
Disallow: /content/board/my/
Disallow: /content/links/my/
Disallow: /*/search/
Disallow: /*?PAGEN*
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*index.php$
Disallow: /e-store/
Disallow: /filter/
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Disallow: /kompaniya/partnery/
Disallow: /cart/
Disallow: /*?method*
Allow: /catalog/teplovye_nasosy/geotermalnye/*
Allow: /catalog/teplovye_nasosy/vozdushnye/*
Allow: /catalog/teplovye_nasosy/komplektuyushchie_dlya_teplovykh_nasosov/*
Disallow: /catalog/teplovye_nasosy/*
Allow: /catalog/radiatory/stalnye_panelnye/*
Dissllow: /catalog/radiatory/*
Allow: /catalog/kotly/gazovye/*
Allow: /catalog/kotly/elektricheskie/*
Allow: /catalog/kotly/tverdotoplivnye/*
Allow: /catalog/kotly/dizelnye/*
Dissllow: /catalog/kotly/*
Allow: /catalog/vodonagrevateli_rosa/kosvennogo_nagreva/*
Allow: /catalog/vodonagrevateli_rosa/teploakkumulyatory_bufery/*
Dissllow: /catalog/vodonagrevateli_rosa/*
Allow: /catalog/gorelki_dlya_kotlov/dizelnye_gorelki/*
Allow: /catalog/gorelki_dlya_kotlov/gazovye_gorelki/*
Dissllow: /catalog/gorelki_dlya_kotlov/*
Вам же написали где проверить:
https://webmaster.yandex.ru/tools/robotstxt/
https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html