Про тэги, гугль и robots.txt

12
Mega-poster
На сайте с 18.02.2009
Offline
56
673

Добрый день. Сорри если уже подобное спрашивали, поиск ничего не дал. У меня вопрос по тегам, в частности для гугля. Есть сайт на WP, 400 страниц примерно, на 300 из них раскидано около сотни тэгов, облака нету, просто куча страниц /tag/

При анализе сайта получаю весьма противоречивые результаты, например site auditor говорит что у меня около 750 страниц в индексе, некоторые онлайн сервисы варьируют результаты от 180 до 600. Так вот, суть вопроса: влияют ли подобные страницы (/tag/) на наличие дублей на сайте, и как это может отразиться на индексации и помещении страниц в supplemental results в гугле? Я подозреваю, что гугль такие страницы воспринимает как дубли, и из-за этого у меня в основной выдаче всего около 20 страниц из 400.

Может быть имеет смысл запретить индексацию этих страниц через robots.txt? Например, добавить туда пару строчек:

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /tag/

Disallow: /page/

По идее, через какое-то время эти страницы вывалятся из индекса, и наконец-то в индексе будет столько страниц, сколько и должно быть, безо всяких дублей? Или я неправ? Заранее спасибо за ответы!

P.S. Сайт - в подписи.

Форум о Казино (http://casino-land.su/forum/) Интернет Казино (http://casino-land.su/) Игровые Автоматы Онлайн (http://casino-land.su/igrovye-avtomaty/)
S2
На сайте с 07.01.2008
Offline
611
#1

http://www.google.ru/search?hl=ru&newwindow=1&q=site:awesome-slots.com&start=0&sa=N&filter=0

Где вы 20 страниц взяли? Вроде 156 страниц.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
J
На сайте с 13.11.2008
Offline
155
#2
Mega-poster:
Я подозреваю, что гугль такие страницы воспринимает как дубли

Правильно подозреваете и не только гугль.

Mega-poster:
По идее, через какое-то время эти страницы вывалятся из индекса, и наконец-то в индексе будет столько страниц, сколько и должно быть, безо всяких дублей?

По идее так и будет, но пройдет не мало времени... Можете ускорить удаление дублей и создать запрос на удаление.

Mega-poster
На сайте с 18.02.2009
Offline
56
#3
Str256:
http://www.google.ru/search?hl=ru&newwindow=1&q=site:awesome-slots.com&start=0&sa=N&filter=0
Где вы 20 страниц взяли? Вроде 156 страниц.

Прошу прощения, неверно выразился :)

Около 20 страниц - это в основной выдаче :)

S2
На сайте с 07.01.2008
Offline
611
#4
Mega-poster:
Около 20 страниц - это в основной выдаче

А как вы её определили?

Mega-poster
На сайте с 18.02.2009
Offline
56
#5
JIucky:
По идее так и будет, но пройдет не мало времени... Можете ускорить удаление дублей и создать запрос на удаление.

Спасибо за совет :)

Один вопрос еще: при запросе на удаление нужно будет указывать только одну страницу за раз? Например, если у меня 100 страниц www.awesome-slots.com/tag/<название-страницы>, то мне надо будет создать 100 запросов на удаление?

Я нашел там пункт: "Каталог и все подкаталоги на вашем сайте". Защитите все файлы и подкаталоги в определенном каталоге вашего сайта от появления в результатах поиска Google.

Имеет ли смысл указать, только каталог "tag", чтобы убить все ссылки где присутствует /tag/?

Заранее спасибо!

Mega-poster добавил 22.03.2010 в 12:36

Str256:
А как вы её определили?

Я обычно смотрю вот так

Mega-poster добавил 22.03.2010 в 12:44

Еще одно замечание: очень странно видеть всего 150-170 страниц в выдаче, при том что всего на сайте их более 400... Можно ли как-то определить под какой фильтр они попали?

S2
На сайте с 07.01.2008
Offline
611
#6
Mega-poster:
Я обычно смотрю вот так

А почему не так? И есть мнение, что соплей сейчас нет. Тут например свои сайты посмотрел, те что в топе гугла - пишет - в основном ноль или близко к тому.

Mega-poster
На сайте с 18.02.2009
Offline
56
#7

Забавный сервис :)

Несколько раз один и тот же сайт не пробовали прогонять? Каждый раз разные результаты :)

S2
На сайте с 07.01.2008
Offline
611
#8
Mega-poster
На сайте с 18.02.2009
Offline
56
#9

Вот сопли: http://www.google.ru/search?hl=ru&newwindow=1&q=site%3Ahttp%3A%2F%2Fawesome-slots.com++-site%3Ahttp%3A%2F%2Fawesome-slots.com%2F%26&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&lr=&aq=f&aqi=&aql=&oq=&gs_rfai=

Ну вот видите, Гугль сунул в саплиментал около 740 страниц. При этом на сайте всего 412 (если верить админке). Определенно надо избавляться от дублей, походу в саплиментал кладется и оригинал, и дубль, так?

Str256:

Гугл считает, что у таких страниц контент недостаточно различен:
http://awesome-slots.com/slotg/lions-lair-slots/
http://awesome-slots.com/slotg/lucky-lightin-slots/

Вы имеете в виду только эти две страницы? Или все посты, у которых присутствует /slotg/?

Дело в том, что большинство этих страниц - описания, как в каталоге, то есть имеют примерно одинаковые описания (если могли видеть). К ним сейчас пишутся потихоньку уникальные описания (примерно 1000 знаков для каждой позиции).

Короче, как я понимаю, нужно менять robots.txt + создавать запросы на удаление лишних страниц через гугль вебмастерс. Кстати, так и остался мой вопрос неотвеченным:

Я нашел там пункт: "Каталог и все подкаталоги на вашем сайте". Защитите все файлы и подкаталоги в определенном каталоге вашего сайта от появления в результатах поиска Google.
Имеет ли смысл указать, только каталог "tag", чтобы убить все ссылки где присутствует /tag/?

Может, подскажете?

J
На сайте с 13.11.2008
Offline
155
#10
Mega-poster:
Имеет ли смысл указать, только каталог "tag", чтобы убить все ссылки где присутствует /tag/?

Убивать Вы будете не ссылки, а страницы, путь которых имеет вид site.ru/tag/blabla.html! Читайте

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий