- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Роботс составлен так:
User-agent: Mediapartners-Google*
Disallow:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /page/*
Disallow: */page/*
Disallow: /tag/*
Disallow: /category/*
Disallow: */comments
Host: имя-сайта.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: /page/*
Disallow: */page/*
Disallow: /tag/*
Disallow: /category/*
Disallow: */comments
Sitemap: http://имя-сайта.ru/sitemap.xml
Но, несмотря на то, что прописано: Disallow: */page/*
все равно индексируются Гуглом страницы вида: имя-сайта.ru/page/2, имя-сайта.ru/page/3 и т.д.
Может нужно что-то поправить?
Как написать, чтобы эти страницы не индексировались?
Напишите просто так без звездочек:
Disallow: /page/
Напишите просто так без звездочек:
Disallow: /page/
Это тоже самое, что и:
Disallow: /page/*
Может просто не успели еще вылететь?
Только с page такая проблема или с другими тоже?
Это тоже самое, что и:
Может просто не успели еще вылететь?
Только с page такая проблема или с другими тоже?
Так если без звездочек, то мне и все остальное надо делать без звездочек?
А как эти звездочки читаются правильно?
Именно в page проблема. Во всяком случае эти страницы залетают в индекс гугла, уже после установки роботса. Это 100%. Роботса поставили почти две недели назад, а страницы залетели в индекс буквально на днях.
Что касается остальных, то там 90% на сайте закрыто - комменты закрыты, архивы не показываются, и в индексе я их не вижу в поисковиках.
Не вижу также пока в индексе страниц вида: имя-сайта.ru/category/название рубрики
А они, кстати вот так прописаны в роботсе: Disallow: /category/*
Но я не могу быть уверена, может быть просто страницы рубрик не проиндекировались еще...
С другой стороны, мне все равно, не индексировать рубрики или не индексировать страницы.
Главное, чтобы не было так, что проиндексируются и рубрики, и страницы...
Так если без звездочек, то мне и все остальное надо делать без звездочек?
А как эти звездочки читаются правильно?
Звездочка в конце правила всегда подразумевается, так что ее можно ставить, можно не ставить - никакой разницы.
Можете дать сайт посмотреть?
Может дело в первом блоке - Mediapartners-Google. Хотя в таком случае была бы проблема и с другими страницами. Может стоит сделать отдельный блок для GoogleBot'a?
Ну и как последний вариант - на эти страницы стоят ссылки, поэтому google плюет на запрет в robots.txt.
Звездочка в конце правила всегда подразумевается, так что ее можно ставить, можно не ставить - никакой разницы.
Можете дать сайт посмотреть?
Может дело в первом блоке - Mediapartners-Google. Хотя в таком случае была бы проблема и с другими страницами. Может стоит сделать отдельный блок для GoogleBot'a?
Ну и как последний вариант - на эти страницы стоят ссылки, поэтому google плюет на запрет в robots.txt.
Сайт пока афишировать не хочу. Ссылок на него пока нигде нет, кроме поисковиков.
Насчет первого блока была мысль отдельно для Гугла еще прописать роботс. Наверное, попробую.
Но надо сначала убедиться. Если категории так и не будут индексироваться, может просто надо убрать действительно первую звездочку.
В случае добавления отдельного блока для гугла, тот, который есть сейчас для всех, тоже стоит оставить? А тот первый блок - Mediapartners-Google - написан в точности как на гугле в адсенсе рекомендовано... Если его продолжить, будет ли это правильно?
Кроме Гугла и Яндекса пока никто не проиндексировал сайт.
Гугл иногда показывает в индексе страницы запрещенные в роботсе, но не отображает их сохраненки.
Запрет через метатэги более приоритетен.
может просто надо убрать действительно первую звездочку
У Вас итак уже есть без первой звездочки:
Disallow: /page/*
Disallow: */page/*
который есть сейчас для всех, тоже стоит оставить?
Конечно.
Mediapartners-Google - написан в точности как на гугле в адсенсе рекомендовано... Если его продолжить, будет ли это правильно?
Я бы сделал отдельный именно для Googlebot, а насчет Mediapartners-Google я ничего не знаю.
Запрет через метатэги более приоритетен.
Вы имеете ввиду «ноиндекс», «нофоллоу»?
Можно ещё спросить: не встречала ранее такой директивы, с двумя звёздочками. Что это означает? —
Disallow: */page/*
Можно ещё спросить: не встречала ранее такой директивы, с двумя звёздочками. Что это означает? —
Disallow: */page/*
Означает не индексировать страницы, в URL которых содержится "/page/". Disallow: */page/ - то же самое.
Disallow: /page/* и Disallow: /page/ - не индексировать страницы, начинающиеся с "/page/".