Он что проходит по ссылкам которым несколько лет ? Если сайт полностью поменялся ? Даже если они не существуют и запрещены в файле робот ? И не смотрит на Sitemap ?
В панели отмечал как исправленные. Все равно опять появляются со старого сайта. Сканировал сайт - нет этого. В sitemap тоже быть не может.
http://joxi.ru/gmv3PvkTL9Lea2 тут видно. При этом прописал даже запрет на индексацию в роботе.
feligz
Очень доволен. Исправили один нюанс, который трудно было найти. В любом случаю буду продолжать сотрудничество. Что самое главное - быстро и четко.
Пока закрою для поисковиков форум, посмотрим что изменится.....
Это сегодня от Яндекса.....
Наш индексирующий робот оптимизирован таким образом, чтобы обходить в первую
очередь часто изменяемые документы, подробнее про работу робота можно
прочитать здесь -- http://www.yandex.ru/info/webmaster6.html
Чтобы остальные страницы Вашего сайта проиндексировались роботом, просто
добавьте некоторые из них в очередь на индексацию через форму --
http://webmaster.yandex.ru/ По мере обхода робота страницы должны
проиндексироваться.
--
С уважением,
Служба поддержки
----------------
www.yandex.ru
Но сайт на сервере уже год!
Почему только форум индексирует ? Да и на гугле я не вижу основного сайта....только ссылки с других сайтов...
Кстати, и на рамблере все ссылки на форум..
С форумом это отдельно, robots.txt пока для форума не подстраивал.
Но мне интересно - почему поисковики уже год не могут проиндексить сам сайт ? И причем почти все !!!
На форум запись добавлю...
midian777
Ага, это я попробовал неделю назад....просто попробовал....увидел на сайте моего сервера, и он был выше по запросу на имя домена (другого).
Просто замучался пробовать и перебирать....
Извеняюсь :)
www.ordeoro.com