- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Сидел мудрил, получил такой вот robots.txt для wordpress, может, что лишнее?
Сейчас насчет WP очень много споров. Говорят что гугл все равно будет это все индексировать, в итоге куча дублей попадет в так называемые "сопливый иднекс".
Рекомендуют все открыть, а с дублями бороться мета тегом robots.
Я вот сам сижу и не знаю какой robots составить.
😕
Добрый день, уважаемые форумчане!
На сайте с динамически формируемыми страницами хочется закрыть для поисковиков страницы, которые формируются путем добавления в названия "простых" страниц дополнительного содержимого через тире.
К примеру, имясайта.ру/матрешка нужно индексировать, а имясайта.ру/матрешка-сапожок или имясайта.ру/матрешка-сапожок-компот индексировать и обходить не нужно. На текущий момент все "сложные" страницы имеют мета-теги noindex и теги noindex на ссылках, которые ведут к сложным страницам.
Можно ли (и как) задать правило на запрет обхода и индексирования "сложных" страниц (с тире) в robots?
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
Что эффективнее: использование noindex и nofollow или запрет в robots?
Возникнет ли конфликт, если "сложные" страницы будут закрыты noindex и nofollow и дополнительно для них будет задан запрет в robots?
эффективнее использовать noindex, nofollow как метатег.
---------- Добавлено 29.06.2015 в 12:09 ----------
Сидел мудрил, получил такой вот robots.txt для wordpress, может, что лишнее?
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /to/
Disallow: /&*
Disallow: />*
Disallow: /page/
Disallow: /*?*
Disallow: /*?
-одинаковые, звезды везде можно убрать, они проставляются автоматически.
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
эффективнее использовать noindex, nofollow как метатег.
Спасибо!
---------- Добавлено 29.06.2015 в 17:12 ----------
Можно закрыть так:
Disallow: *-
учитывайте, закроются все урлы где есть "-"
эффективнее использовать noindex, nofollow как метатег.
.
А можно ли продублировать теги nofollow (не метатеги) запретом в роботсе? Про это в помощи гугл, например, не сказано ни слова (но есть упоминание, что при работающем noindex ставить запрет в robots не рекомендуют). Не выйдет конфликта?
Добрый день,
robots.txt выглядит так:
User-Agent: *
Disallow: /bitrix/
Disallow: /cgi-bin/
Disallow: /inc/
Disallow: /include/
Disallow: /personal/
Disallow: /registration/
Disallow: /search/
Disallow: /upload/
Disallow: /verstka/
Disallow: /*?action=
Disallow: /*?FILTER_TYPE=
Disallow: /*?SECTION_CODE=
Disallow: /articles/
Sitemap: http://site.ru/sitemap.xml
Host: www.site.ru
User-Agent: Googlebot
Allow: /upload/iblock
User-Agent: Googlebot-Image
Allow: /upload/iblock
Яндекс (проверка через Вебмастер) правильно отображает, что страница /articles/, например, или любая другая, запрещена. Гугл же (проверка также через Вебмастер Гугла) утверждает, что страница доступна:
chrome-extension://jhcdlkgjiehgpnpolkbnmpffjodigbkb/editor.html
И также со всеми остальными страницами, например /search/, /include/ и так далее.
Подскажите, пожалуйста, где ошибка в файле robots, почему Гугл отвечает, что страницы доступны?
Заранее спасибо.
Добрый день,
robots.txt выглядит так:
User-Agent: *
Disallow: /bitrix/
Disallow: /cgi-bin/
Disallow: /inc/
Disallow: /include/
Disallow: /personal/
Disallow: /registration/
Disallow: /search/
Disallow: /upload/
Disallow: /verstka/
Disallow: /*?action=
Disallow: /*?FILTER_TYPE=
Disallow: /*?SECTION_CODE=
Disallow: /articles/
Sitemap: http://site.ru/sitemap.xml
Host: www.site.ru
User-Agent: Googlebot
Allow: /upload/iblock
User-Agent: Googlebot-Image
Allow: /upload/iblock
Яндекс (проверка через Вебмастер) правильно отображает, что страница /articles/, например, или любая другая, запрещена. Гугл же (проверка также через Вебмастер Гугла) утверждает, что страница доступна:
chrome-extension://jhcdlkgjiehgpnpolkbnmpffjodigbkb/editor.html
И также со всеми остальными страницами, например /search/, /include/ и так далее.
Подскажите, пожалуйста, где ошибка в файле robots, почему Гугл отвечает, что страницы доступны?
Заранее спасибо.
Вы же ему говорите сканировать:
User-Agent: Googlebot
Allow: /upload/iblock
Почему эта директива разрешает сканировать другие разделы?
Доброго времени суток.
Сайт на WP. На сайте есть рубрики. Часть рубрик многостраничная.
Первая страница рубрики имеет адрес такого вида:
http://имя-сайта.ru/category/имя-рубрики
последующие страницы имеют вид
http://имя-сайта.ru/category/имя-рубрики/page/1
http://имя-сайта.ru/category/имя-рубрики/page/2 и.т.д.
Хочу закрыть через роботс от индексации все последующие страницы всех рубрик кроме первой страницы. Подскажите пожалуйста, как это правильно сделать? Не очень понимаю, надо ли использовать модификатор $ в данном случае
Disallow: category/*/page*
или
Disallow: category/*$/page*
Заранее благодарю
Почему эта директива разрешает сканировать другие разделы?
User-Agent: Googlebot (Правило для Google)
Allow: /upload/iblock (открыть данный раздел)
других правил для Google нет, значит сканирует все что хочет.
---------- Добавлено 03.07.2015 в 21:57 ----------
Доброго времени суток.
Сайт на WP. На сайте есть рубрики. Часть рубрик многостраничная.
Первая страница рубрики имеет адрес такого вида:
http://имя-сайта.ru/category/имя-рубрики
последующие страницы имеют вид
http://имя-сайта.ru/category/имя-рубрики/page/1
http://имя-сайта.ru/category/имя-рубрики/page/2 и.т.д.
Хочу закрыть через роботс от индексации все последующие страницы всех рубрик кроме первой страницы. Подскажите пожалуйста, как это правильно сделать? Не очень понимаю, надо ли использовать модификатор $ в данном случае
Disallow: category/*/page*
или
Disallow: category/*$/page*
Заранее благодарю
не корректные директивы:
Disallow: category/*/page*
Disallow: category/*$/page*
1) на $ можно только заканчивать)
2) директива начинается на * или /
3) если правильно понял, нужно такое:
Disallow: /category/rubrika/
allow: /category/rubrika/$
/category/rubrika/page/1 - запрещен
/category/rubrika/ - разрешен
В robots.txt есть строчка Disallow: /*?*
Будет ли индексироваться страница http://site.ru/catalog_content/faq/?CATEGORY_ID=1080
Вопрос про robots такой:
Закрывать ли скрипты *.js и папки theme от индексации?
Увидел в вебмастере гугла, что он всё там заблочил, хотя для людей отображение идёт нормальное, для робота УГ. Это как-то влияет на ранжирование?