Не можем разобраться откуда подтягиваются левые странички в индекс

Про поддомены речь шла о странице http://m.sotis.ua/news/?id=8927

Это мобильная версия сайта, которая также в Google.

Чтобы удалить мусорную страницу из выдачи, есть два способа:

1. Запретить ее в robots.txt, например если все мусорные страницы начинаются на один и тот же адрес:

disallow: site.ru/3d/...

Но у вас такое не прокатит, т.к. помоему адрес страницы не сильно уникальный.

2. Запретить это с помощью CMS, тут уже без прогера не обойтись. Я так понимаю страница с 3d показом генерируется движком. Надо просто настроить его так, чтобы эта страница по умолчанию была закрыта от индексации.

По другому никак.

Для начала пройдите спайдером (можно локально), посмотрите и закройте весь мусор.

Например проанализировать можно этими программами:

Netpeak Spider - бесплатная

Xenu's Link Sleuth - бесплатная

A1 Sitemap Generator - платная

Deco90, Спасибо за помощь, будем шуршать дальше, тока можно маленький вопросик, я все равно не могу понять откуда тянутся 18 тыс. страниц, в принципе есть идея что мобильная версия может также подтянуть страницы все абсолютно, и так же эти 3D но мне кинул программы уважаемый Seoinfinity, и я проверил что они как рас таки закрыты от индексации стоит в роботс disallow, тем самым говоря что они закрыты

при этом в гугле страницу можно будет найти (если она попала в индекс до запрета в роботсе).

narvell3, попробуйте просканить сайт каким нибудь прогой, например Xenu, Netpeak Spider. После выгрузите данные по найденным страничкам и посмотрите совпадения тега Title (в экселе).

Но это будет данные по тем страницам, на которые есть ссылки.

Остальное- только медитировать на выдачу с расширенным поиском

http://www.google.ru/advanced_search

ну или с помощью операторов:

http://help.yandex.ru/search/query-language/crib-sheet.xml

SmileP, спасибо за подсказку.

Но тока что сделал маленький интересный эксперемент.

Короче суть в чем когда в гугл прописал с такими параметрами site:www.sotis.ua выдало что 9 160 страниц, после я поменял на site:sotis.ua и выдало 18 200 страниц, когда я поменя еще рас на site:http://sotis.ua и выдало 17 900 страниц, кто то сможет мне подсказать чо за фигня происходит? ибо я вообще не догоняю 🤪

Что у вас с поддоменами? http://gfggfgf.sotis.ua/

Lanfen, мм честно в первые вижу, вы прям шокировали меня, а как можно так посмотреть что еще за под домены есть у нас, просто я только знал за m.sotis.ua а вы прям для меня Америку открыли

У вас там бесконечное количество доменов :) http://trttrr.gfggfgf.sotis.ua/

Это называется "домен по умолчанию". Это у вас где-то в настройках хостинга. Если сами не сможете отключить, то пишите в тех. поддержку хостинга, просите их чтобы они вам это убрали. Вообще убрали.

Lanfen, уже убрали спасибо огромное за такую подержку, чесно просто я даже незнал, а как вообще такое можно на будущее просмотреть

---------- Добавлено 27.03.2014 в 14:46 ----------

Lanfen, А еще маленький вопросик это как-то могло сказаться на сайте ? что-то принести плохого

На будущее: А как вы 404 ошибку на сайте проверяете? http://www.sotis.ua/catalog/mobile_phones 🤪

Как могло сказаться? Может быть или ничего :) или всё что угодно :) Из самого безобидного чего угодно - сайт проиндексируется несколько раз и будут дубли со всеми вытекающими