Откуда гугл такое индексирует

12
New Member
На сайте с 21.12.2008
Offline
211
1005

У меня на сайте все ссылки абсолютные, но гугл вытягивает такое, что нигде не встречается и добавляет в индекс. Откуда он это берет? какие алгориты? где можно почитать про методы его индексирования, чтобы он всякий мусор не находил и в индекс не пхал.

Допустим, у меня англ версия сайта идет так: site.com/eng

И допустим материал:

site.com/en/super-news

Так он сам как-то генерирует страницы типа:

site.com/en/en/super-news

site.com/en/en/en/en/super-news

И индексирует добавляя в индекс, и у меня получается полная Ж888 в итоге с дубликатами.

По сути на сайте нигде не встречаются такие УРЛ, а он делает что хочет. Еще заметил может тире добавлять, типа как:

site.com/en/super-news

site.com/en/super-news-

В итоге опять дубликат в индексе...

движок самописный

Раскрутка сайтов (https://seomasters.com.ua/)
zenja
На сайте с 04.08.2010
Offline
139
#1

Решение проблемы и ответ на Ваши вопросы :

движок самописный

+ непонятно:

у меня англ версия сайта идет так: site.com/eng

и

И допустим материал:
site.com/en/super-news
Быть минимально гордым, быть максимально честным! Услуги по продвижению Ваших сайтов: прозрачно, качественно, недорого (/ru/forum/779787)
New Member
На сайте с 21.12.2008
Offline
211
#2
zenja:
Решение проблемы и ответ на Ваши вопросы :

+ непонятно:

и

Моя опечаточка в плане /eng и /en.

Неважно, пусть будет /en везде.

Посмотрел через как видит гугл бот страничку, нигде левых урл он не находит.

SandyMan
На сайте с 13.06.2004
Offline
129
#3

Если вы наберёте в браузере site.com/en/en/super-news, что произойдет? 404? редирект? Если нет, и покажется нормальная страница, то копайте в сторону htacces.

Например, если "доброжелатели" обнаружат такой баг, то ничего не стоит создать такие линки на вас которые приведут к дублям.

Решение: каноникал

cyrex
На сайте с 14.04.2011
Offline
33
#4

А как у Вас на /en ссылка в коде выглядит? Если, например, ссылка будет вида <a href="/en">Англ. версия сайта</a> и вести на site.com/en/, и она же будет повторятся на англ версии, то находясь на странице site.com/en/, она уже будет выглядеть как site.com/en/en. Если же ссылка будет иметь вид <a href="http://site.com/en">, то все должно быть в порядке. Хотя возможно я и ошибаюсь.

seo_optimist
На сайте с 09.09.2009
Offline
108
#5

Если движок самописный, то копайте в нем, где то что то пропустили. Сгенерируйте в /en/en/ 404 ошибку и через время посмотрите в инструментах для веб мастеров страницу с которой есть ссылка на дубликат

V
На сайте с 22.02.2007
Offline
130
#6

Такое возможно, если урл у вас в коде пишется без указания базы "/" (в коде ссылки стоят вида href="en/page") и без использования html директивы < base >. Тогда при переходе на "site/en/" ссылка "en/page" будет работать относительно текущей директории, то есть "site/en/", и получится "site/en/en/page".

SandyMan
На сайте с 13.06.2004
Offline
129
#7

а вообще, линк бы в студию

F
На сайте с 10.12.2011
Offline
19
#8

Человек же написал, что "все ссылки абсолютные". Причем тут все эти версии с относительными ссылками?

Скорее всего движок сам такие ссылки генерит. Бери какую либо программу, для генерации sitemap и напусти на сайт, рекомендую "A1 Sitemap Generator". В этой программе будет видно, все твои ссылки и на каких страницах они стоят.

SandyMan
На сайте с 13.06.2004
Offline
129
#9

кроме того, я бы не стал исключать и мою версию описанную выше.

New Member
На сайте с 21.12.2008
Offline
211
#10

Не хваталоо проверки, при отловле языка и кривая ссылка в базе.

Кстати откуда вообще первый раз увидел проблему, так это при генерировании sitemap xml, как выше написали, очень хороший способ для проверки. Но до индексации гуглом, думал это глюк генератора.

Сейчас же все нормально генерирует, всем спасибо за помощь!

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий