- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Сидел мудрил, получил такой вот robots.txt для wordpress, может, что лишнее?
Сейчас насчет WP очень много споров. Говорят что гугл все равно будет это все индексировать, в итоге куча дублей попадет в так называемые "сопливый иднекс".
Рекомендуют все открыть, а с дублями бороться мета тегом robots.
Я вот сам сижу и не знаю какой robots составить.
😕
Добрый день, уважаемые форумчане!
На сайте с динамически формируемыми страницами хочется закрыть для поисковиков страницы, которые формируются путем добавления в названия "простых" страниц дополнительного содержимого через тире.
К примеру, имясайта.ру/матрешка нужно индексировать, а имясайта.ру/матрешка-сапожок или имясайта.ру/матрешка-сапожок-компот индексировать и обходить не нужно. На текущий момент все "сложные" страницы имеют мета-теги noindex и теги noindex на ссылках, которые ведут к сложным страницам.
Можно ли (и как) задать правило на запрет обхода и индексирования "сложных" страниц (с тире) в robots?
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
Что эффективнее: использование noindex и nofollow или запрет в robots?
Возникнет ли конфликт, если "сложные" страницы будут закрыты noindex и nofollow и дополнительно для них будет задан запрет в robots?
эффективнее использовать noindex, nofollow как метатег.
---------- Добавлено 29.06.2015 в 12:09 ----------
Сидел мудрил, получил такой вот robots.txt для wordpress, может, что лишнее?
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/
Disallow: /*?*
Disallow: /*?
-одинаковые, звезды везде можно убрать, они проставляются автоматически.
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
эффективнее использовать noindex, nofollow как метатег.
Спасибо!
---------- Добавлено 29.06.2015 в 17:12 ----------
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
эффективнее использовать noindex, nofollow как метатег.
.
А можно ли продублировать теги nofollow (не метатеги) запретом в роботсе? Про это в помощи гугл, например, не сказано ни слова (но есть упоминание, что при работающем noindex ставить запрет в robots не рекомендуют). Не выйдет конфликта?
Добрый день,
robots.txt выглядит так:
User-Agent: *
Disallow: /bitrix/
Disallow: /cgi-bin/
Disallow: /inc/
Disallow: /include/
Disallow: /personal/
Disallow: /registration/
Disallow: /search/
Disallow: /upload/
Disallow: /verstka/
Disallow: /*?action=
Disallow: /*?FILTER_TYPE=
Disallow: /*?SECTION_CODE=
Disallow: /articles/
Sitemap: http://site.ru/sitemap.xml
Host: www.site.ru
User-Agent: Googlebot
Allow: /upload/iblock
User-Agent: Googlebot-Image
Allow: /upload/iblock
Яндекс (проверка через Вебмастер) правильно отображает, что страница /articles/, например, или любая другая, запрещена. Гугл же (проверка также через Вебмастер Гугла) утверждает, что страница доступна:
chrome-extension://jhcdlkgjiehgpnpolkbnmpffjodigbkb/editor.html
И также со всеми остальными страницами, например /search/, /include/ и так далее.
Подскажите, пожалуйста, где ошибка в файле robots, почему Гугл отвечает, что страницы доступны?
Заранее спасибо.
Добрый день,
robots.txt выглядит так:
User-Agent: *
Disallow: /bitrix/
Disallow: /cgi-bin/
Disallow: /inc/
Disallow: /include/
Disallow: /personal/
Disallow: /registration/
Disallow: /search/
Disallow: /upload/
Disallow: /verstka/
Disallow: /*?action=
Disallow: /*?FILTER_TYPE=
Disallow: /*?SECTION_CODE=
Disallow: /articles/
Sitemap: http://site.ru/sitemap.xml
Host: www.site.ru
User-Agent: Googlebot
Allow: /upload/iblock
User-Agent: Googlebot-Image
Allow: /upload/iblock
Яндекс (проверка через Вебмастер) правильно отображает, что страница /articles/, например, или любая другая, запрещена. Гугл же (проверка также через Вебмастер Гугла) утверждает, что страница доступна:
chrome-extension://jhcdlkgjiehgpnpolkbnmpffjodigbkb/editor.html
И также со всеми остальными страницами, например /search/, /include/ и так далее.
Подскажите, пожалуйста, где ошибка в файле robots, почему Гугл отвечает, что страницы доступны?
Заранее спасибо.
Вы же ему говорите сканировать:
User-Agent: Googlebot
Allow: /upload/iblock
Почему эта директива разрешает сканировать другие разделы?
Доброго времени суток.
Сайт на WP. На сайте есть рубрики. Часть рубрик многостраничная.
Первая страница рубрики имеет адрес такого вида:
http://имя-сайта.ru/category/имя-рубрики
последующие страницы имеют вид
http://имя-сайта.ru/category/имя-рубрики/page/1
http://имя-сайта.ru/category/имя-рубрики/page/2 и.т.д.
Хочу закрыть через роботс от индексации все последующие страницы всех рубрик кроме первой страницы. Подскажите пожалуйста, как это правильно сделать? Не очень понимаю, надо ли использовать модификатор $ в данном случае
Disallow: category/*/page*
или
Disallow: category/*$/page*
Заранее благодарю
Почему эта директива разрешает сканировать другие разделы?
User-Agent: Googlebot (Правило для Google)
Allow: /upload/iblock (открыть данный раздел)
других правил для Google нет, значит сканирует все что хочет.
---------- Добавлено 03.07.2015 в 21:57 ----------
Доброго времени суток.
Сайт на WP. На сайте есть рубрики. Часть рубрик многостраничная.
Первая страница рубрики имеет адрес такого вида:
http://имя-сайта.ru/category/имя-рубрики
последующие страницы имеют вид
http://имя-сайта.ru/category/имя-рубрики/page/1
http://имя-сайта.ru/category/имя-рубрики/page/2 и.т.д.
Хочу закрыть через роботс от индексации все последующие страницы всех рубрик кроме первой страницы. Подскажите пожалуйста, как это правильно сделать? Не очень понимаю, надо ли использовать модификатор $ в данном случае
Disallow: category/*/page*
или
Disallow: category/*$/page*
Заранее благодарю
не корректные директивы:
Disallow: category/*/page*
Disallow: category/*$/page*
1) на $ можно только заканчивать)
2) директива начинается на * или /
3) если правильно понял, нужно такое:
Disallow: /category/rubrika/
allow: /category/rubrika/$
/category/rubrika/page/1 - запрещен
/category/rubrika/ - разрешен
В robots.txt есть строчка Disallow: /*?*
Будет ли индексироваться страница http://site.ru/catalog_content/faq/?CATEGORY_ID=1080
Вопрос про robots такой:
Закрывать ли скрипты *.js и папки theme от индексации?
Увидел в вебмастере гугла, что он всё там заблочил, хотя для людей отображение идёт нормальное, для робота УГ. Это как-то влияет на ранжирование?