Проблема с индексацией сайта

S
На сайте с 05.05.2008
Offline
79
370

всем привет, столкнулся с такой проблемой, роботы хотят, но сайт не индексируется, точнее индексируется но без содержания, т.е. как будто он пустой, нету ни тайтла ни контента, в роботс.тхт где-то пол года было запретить все, когда сайт был закрыт, но когда сайт открылся в роботс.тхт стало следующее:

User-agent: *

Disallow: /classes/

Disallow: /images/

Disallow: /skins/

Disallow: /payments/

Disallow: /image.php

Disallow: /admin.php

и все равно ничего не индексировалось, сейчас я просто убил все в этом файле и сделал его пустым, но все равно не хочет индексировать содержание.

Зарегил сайт в тулсе гугла "инструменты для вебмастеров" но там старая инфа отображается, что в роботс.тхт запрещена главная страница от такого то числа,

таже ситуация и с яндексом, робот ходит, а кеша нету(((

может в коде что-то не так?

p.s. сайт xhttp://smarthome точка ru

C
На сайте с 28.07.2004
Offline
43
#1

Не нужно оставлять robots.txt пустым. Добавьте в него следующее:

User-Agent: *
Allow: /

Ну и подождите пару недель. Все будет нормально.

Yeugeny
На сайте с 01.02.2008
Offline
42
#2
В настройках PHP установлено magic_quotes_gpc = Off . Для правильной работы скрипта необходимо включить этот параметр (On)

Может с этим связано?

S
На сайте с 05.05.2008
Offline
79
#3
Yeugeny:
Может с этим связано?

не) эта надпись была давно, там был совсем другой скрипт, вы наверное это где-то в хистори взяли

C
На сайте с 28.07.2004
Offline
43
#4

spyx, не ломайте голову. Поправьте robots.txt, сделайте sitemap и скормите его гуглю. Все будет нормально.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий