Гугл индексирует всякий мусор

12
greencoma
На сайте с 04.11.2009
Offline
83
1874

Приветствую. Никак не могу найти общий язык с гуглом: в индексе висит куча ненужных страниц - админка, внутренние папки, теги и т.п., хотя все это закрыто нофоллоу и запрещено в роботс.тхт. Не знаю, что и делать. Как только не извращался с роботсом, смотрел на буржуйских блогах, в итоге сейчас он имеет такой вид. Вот сам сайт. Есть ли у кого-нибудь опыт по решению подобных проблем? Спасибо.

M
На сайте с 27.10.2006
Offline
111
#1

Не видать, что там что-то закрыто в nofollow. На страницы тэгов есть и ссылки, и сами они не закрыты.

Внутренние папки — NotCaptcha либо криво стояла, либо сама кривая. Куча страниц, которые она наплодила, выдают код 302 вместо 404.

В общем, надо в порядок блог привести (в том числе шаблон валидным сделать), закрыть мусор через htaccess.

А с таким robots.txt что делать я не знаю... У меня его просто не бывает.

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.
greencoma
На сайте с 04.11.2009
Offline
83
#2

Спасибо!

в том числе шаблон валидным сделать

Что вы имеете в виду? Не совсем понял.

T
На сайте с 23.11.2005
Offline
298
#3

В любом случае упоминать два раза инструкцию

User-agent: Yandex

не нужно

M
На сайте с 27.10.2006
Offline
111
#4

На морде — 69 ошибок, на одной из внутренних — 130.

Это может влиять на индексацию, так как GoogleBot не исправляет ошибки в HTML, в отличие от современных браузеров.

greencoma
На сайте с 04.11.2009
Offline
83
#5
На морде — 69 ошибок, на одной из внутренних — 130.

Вот это да. Спасибо, пошел чистить.

В любом случае упоминать два раза инструкцию
User-agent: Yandex
не нужно

Спасибо, поправлю.

Trean
На сайте с 28.10.2009
Offline
78
#6
Maxoud:
На морде — 69 ошибок, на одной из внутренних — 130.
Это может влиять на индексацию, так как GoogleBot не исправляет ошибки в HTML, в отличие от современных браузеров.

Валидатор это несомненно круто, однако http://validator.w3.org/check?uri=www.google.com&charset=%28detect+automatically%29&doctype=Inline&group=0

Вот так вот ;)

Беру заказы на продвижение, также предлагаю качественные консультации и аудиты сайтов (обращаться в ЛС).
M
На сайте с 27.10.2006
Offline
111
#7

Хехе :) Надеюсь, у него хватит ума себя не парсить. А то у бедняги хранилища не хватит.

dlyanachalas
На сайте с 15.09.2006
Offline
693
#8

http://greencoma.ru/wp-content/plugins/wp-notcaptcha/lib/notcaptcha.php?i=2&r=1274688148

noindex в метатегах нет, в роботсе "/wp-content" от Яндекса - закрыто, от Гугля - нет. Так какие претензии к Гуглю?

Он гордится тем, что у него хватает мощностей индексировать всё, что можно (в отличие от сами знаете кого), только он эти страницы в выдаче на последних местах будет показывать, не переживайте :)

overnight
На сайте с 23.05.2008
Offline
262
#9

Деректива Host у Вас не будет работать.

greencoma
На сайте с 04.11.2009
Offline
83
#10
Внутренние папки — NotCaptcha либо криво стояла, либо сама кривая. Куча страниц, которые она наплодила, выдают код 302 вместо 404.

Ее, кстати, сейчас нету, даже папки такой нет. Уже и не помню, когда удалил. А гугл до сих пор видит.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий