Три проблемы в Вебмастере - роботс, сайтмап и "урл не принадлежит домену"

TO
На сайте с 21.09.2007
Offline
170
1855

1. когда я хочу проверить в панели вебмастера, правильно ли я закрыл страницы, мне выдает "не удалось загрузить robots.txt". Не знаю, о чем это говорит: файл неверно составлен или он превышает максимально допустимый размер (файл действительно большой очень - 241 строка)

2. "этот урл не принадлежит вашему домену" - говорят мне, когда я вручную загружаю роботс и проверяю определенные страницы. Интерес в том, что раньше сайт был настроен редиректами как site.ru, спустя некоторое время поменяли на www.site.ru, но в панели вебмастера он все еще без www. И когда проверяешь страницу с www, возникает такая фраза.

Есть о чем беспокоиться, или со временем переиндексируется?

3. Загрузил я файл sitemap. После проверки выяснилось, что он содержит 0 ссылок и 100 замечаний. Вроде бы все верно в файле, на мой взгляд.

http://www.ipetersburg.ru/sitemap.xml - где тут может ошибка крыться?

naleks
На сайте с 11.06.2008
Offline
69
#1
t_o_x_a:
1. когда я хочу проверить в панели вебмастера, правильно ли я закрыл страницы, мне выдает "не удалось загрузить robots.txt". Не знаю, о чем это говорит: файл неверно составлен или он превышает максимально допустимый размер (файл действительно большой очень - 241 строка)

Что 1 пришло мне в голову, неправильные права на файл.

Файл в браузере открывается? АФАЙР, Яндекс читает robots.txt до 32КБ.

t_o_x_a:
2. "этот урл не принадлежит вашему домену" - говорят мне, когда я вручную загружаю роботс и проверяю определенные страницы. Интерес в том, что раньше сайт был настроен редиректами как site.ru, спустя некоторое время поменяли на www.site.ru, но в панели вебмастера он все еще без www. И когда проверяешь страницу с www, возникает такая фраза.
Есть о чем беспокоиться, или со временем переиндексируется?

Врядли это являетяс поводом для беспокойства. Видимо у них стоит обработчик, который запрещает загрузку/индексирование файлов с домена (неглавного зеркала).

t_o_x_a:
3. Загрузил я файл sitemap. После проверки выяснилось, что он содержит 0 ссылок и 100 замечаний. Вроде бы все верно в файле, на мой взгляд.

http://www.ipetersburg.ru/sitemap.xml - где тут может ошибка крыться?

Видимо глюк.

TO
На сайте с 21.09.2007
Offline
170
#2
naleks:
Что 1 пришло мне в голову, неправильные права на файл.
Файл в браузере открывается? АФАЙР, Яндекс читает robots.txt до 32КБ.

Весит 10 килобайт и открывается в барузере.

S2
На сайте с 07.01.2008
Offline
611
#3

Вместо:


<loc>http://www.ipetersburg.ru/articles/</loc>
<priority>.5</priority>
<changefreq>weekly</changefreq>

Попробуйте:

<url>
<loc>http://www.ipetersburg.ru/articles/</loc>
<priority>.5</priority>
<changefreq>weekly</changefreq>
</url>

Насчёт домена. Лучше удалить и заново добавить как надо.

Ссылку на карту лучше после хост ставить. А вообще поскольку хост понимает только яндекс, для него сделать отдельный блок и там хост написать, а карту оставить там где сейчас.

t_o_x_a:
когда я хочу проверить в панели вебмастера, правильно ли я закрыл страницы, мне выдает "не удалось загрузить robots.txt".

Только если без www смотреть. С www - нормально считывает.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
Валерий Козлов
На сайте с 13.11.2008
Offline
97
#4

Да уж роботс тхт улыбнул

Валерий Козлов
S5
На сайте с 18.02.2010
Offline
14
#5

http://www.ipetersburg.ru/robots.txt

Disallow: /search

...

...

...

Disallow: /?pageNum=1

...

...

...

На серче обсуждается запрет серча на серч :D

TO
На сайте с 21.09.2007
Offline
170
#6

Str256, спасибо, сейчас перепишем sitemap и роботс.

vetervoda, ну да, там в каждом разделе используется фильтрация, которая генерирует бешеный урл с практически тем же контентом. Яндекс такие вещи ест на ура, поэтому, подстраховались.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий