- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайт на вордпрессе. Статьи заливаются непосредственно в категории. Дабы избежать дублирования контента закрыл от индексирования архив, категории. Кроме того, закрыл комментирование. Яндекс индексирует то, что нужно - сами статьи. А вот гугл при тех же условиях есть все подряд :( В яндексе проиндексировано 89 страниц (при том, что их реально чуть больше 90), а в гугле 357.
Трафик из яндекса составляет около 300 уников в сутки. Из гугла - 2-4. Подозреваю что именно из-за дублирования контента, хотя сайту около 3 месяцев, возможно в песочнице еще.
Вот текст роботса:
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /?feed=comments-rss2
Disallow: /?m #
Disallow: /?cat=$
Disallow: /?cat= #
Disallow: /?feed=rss2&p= #
Host: www.мойсайт.ru
Sitemap: http://www.мойсайт.ru/sitemap.xml
User-agent: Google
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /?feed=comments-rss2
Disallow: /?m #
Disallow: /?cat=$
Disallow: /?cat= #
Disallow: /?feed=rss2&p= #
Host: www.мойсайт.ru
Sitemap: http://www.мойсайт.ru/sitemap.xml
User-agent: *
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /?feed=comments-rss2
Disallow: /?m #
Disallow: /?cat=$
Disallow: /?cat= #
Disallow: /?feed=rss2&p= #
Host: www.мойсайт.ru
Sitemap: http://www.мойсайт.ru/sitemap.xml
Подскажите, пожалуйста, в чем может быть проблема.
robots.txt создан не правильно.
Поисковые работы изначально не поддерживали адреса через "?", сейчас их поддерживает Гугл и Яндекс, но у каждого из них свои правила исключения.
Рекомендую поставить плагин Platinum SEO и настроить noindex для категорий и т.д. или читать правила настройки
User-agent: Google
Disallow: /wp-login.php
Host: www.мойсайт.ru
Хост для гугла??? Это круто!!! :D
Насколько я помню пустой строки не должно быть между агентом и тем что запрещается.
Для гугла не нужно хост указывать?
Для гугла не нужно хост указывать?
Нет, не нужно. Он его не понимает. Это можно указать в вебмастере гугла.
Ок, убрал хост и пустую строчку между агентом и тем, что запрещается. Посмотрим, что получится. Самое интересное, что на другом аналогичном сайте гугл индексирует только то, что нужно. А на этом вот такой вот нонсенс.
А у меня сат на джумле, стандартный роботс, в панеле вебмастера в гугле показаны разделы, которые запрещены для индексации, но гугл все равно индексирует и в выдачу включает. По определенному запросу даже ссыль появляется в выдаче на вход в админпанель:(
Для WP с включенным ЧПУ вида /%postname%
User-agent: Yandex
Crawl-delay: 5
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /index.php?s=
Disallow: /category/*
Disallow: */trackback
Disallow: /tag/*
Disallow: /*?*
Disallow: /*?
Disallow: /2009/*
Disallow: /author
Disallow: /page/
Host: .............................
User-agent: YandexBlog
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */feed
Disallow: */comments
Disallow: /index.php?s=
Disallow: /category/*
Disallow: */trackback
Disallow: /tag/*
Disallow: /*?*
Disallow: /*?
Disallow: /2009/*
Disallow: /author
Disallow: /page/
User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google
Disallow:
Sitemap: http:........../sitemap.xml
Sitemap: http:........../sitemap.xml.gz
Вообще же в панели гугла вебмастер есть раздел, посвящённый созданию файла роботс тхт и его проверке самим гуглом и дружественными сервисами в плане доступности ссылок к индексации. После закрытия ненужных разделов кеш гугла нужно удалить через панель веб-мастера (не весь, конечно, а "левые" ссылки).
После слеша не ? а *
User-agent: Google
Его Googlebot зовут.
Вообще же в панели гугла вебмастер есть раздел, посвящённый созданию файла роботс тхт и его проверке самим гуглом и дружественными сервисами в плане доступности ссылок к индексации. После закрытия ненужных разделов кеш гугла нужно удалить через панель веб-мастера (не весь, конечно, а "левые" ссылки).
В той панели проверяю:
http://www.мойсайт.ru/?cat=9 Заблокировано строкой 33: Disallow: /?cat= #
Я все категории закрыл от индексирования и это подтверждается. Но в индексе они присутствуют.