Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Индексация мусора

12 3
D
На сайте с 10.02.2012
Offline
101
dijes
1655

Всем привет, у меня на сайтах неожиданно стало через чур большое количество страниц, подозреваю что что то с роботс, сейчас стоит вот такой

User-agent: google
Disallow: /cgi-bin
Disallow: /tmp/
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
User-agent: Googlebot-Image
Disallow:
Allow: /*
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/

Host: сайт
Sitemap: http://сайт/sitemap.xml.gz
User-agent: YandexBlog
Disallow:
Allow: /*

Не могу понять в связи с чем, произошло повышение страниц, и у меня не на одном сайте сие чудо приключилось.

[Удален]
#1

не поверите, тоже было все ок, но в предпоследний ап залезло +100% страниц, давай смотреть, что за шлак, так там страницы типа:

*/?m

*/?autor

поправил в роботсе пока по тихоньку вылетают не нужные мне страницы.

П.С. CMS тоже WP

правильный роботс на ВП Яндекс, внутренние страницы и Арзамас (Анадырь). Релиз 08.04.09
D
На сайте с 10.02.2012
Offline
101
dijes
#2

Добавил, посмотрим что произойдёт.

Stanok
На сайте с 26.04.2010
Offline
89
Stanok
#3

Смотрите какой мусор вылазит и закрывайте по параметрам. Приведите пример дублей страниц.

D
На сайте с 10.02.2012
Offline
101
dijes
#4

В индексе висят category/ page/3/, подскажите как их закрыть от индексации.

Stanok
На сайте с 26.04.2010
Offline
89
Stanok
#5

Лучше сайт в личку сбросьте, а то ща поназакрываем)))

CH
На сайте с 27.10.2008
Offline
56
Code Hunter
#6

кстати тоже самое, несмотря на то, что стоит запрет на индексацию Disallow: */feed и /feed

Google мне выводит такие ссылки

site.ru/tag/article/feed
Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

Приходится через вебмастер удалять, но в яндексе такой херни нет.

B
На сайте с 15.03.2013
Offline
3
BPBRoman
#7

Решил подобную проблему с помощью плагина, SEO by Yoast

--

Сам плагин: http://wordpress.org/extend/plugins/wordpress-seo/

D
На сайте с 10.02.2012
Offline
101
dijes
#8
Code Hunter:
кстати тоже самое, несмотря на то, что стоит запрет на индексацию Disallow: */feed и /feed
Google мне выводит такие ссылки

Приходится через вебмастер удалять, но в яндексе такой херни нет.

А я удалял с гугла и он всё равно хавает в индекс, сейчас в яндексе что то нахавало.

Что за плагин, что он делает?

0
На сайте с 21.11.2009
Offline
278
0pium
#9

Название темы "Индексация мусора" напомнило мне фильм "Идентификация борна"... так что можно смело снимать новый блокбастер :)

orka13
На сайте с 28.03.2011
Offline
102
orka13
#10
dijes:
В индексе висят category/ page/3/, подскажите как их закрыть от индексации.

В последнее время оптимальное через метатеги закрывать индексацию, а не самым Robots.txt. Правильный robots.txt для WordPress и применение мета тега robots.

Продажи шаблона Google-Translate (Гугл Переводчик), скорость: 20 млн ключей/час, с прокси, без API. (http://zennolab.com/discussion/threads/prodazhi-shablona-google-translate.43684/) Переводит ключи, статьи, HTML+PHP файлы (целые сайты, доры) с сохранением верстки!
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий