Индексация и Sitemap.xml

Sly Dog
На сайте с 27.08.2009
Offline
15
3355

Приветствую!

В SEO не силен, потому прошу не пинать. Два вопроса:

1. На домене в свое время был поставлен бложек WordPress и Яндекс проиндексировал пару страниц, потом сайт на долго был закрыт через .htaccess и отдавал Яндексу, как я понял, 401 ошибку. Около недели назад сайт открылся, но при просмотре через Я.Вебмастер вижу такую таблицу:

Страниц в поиске: 0
Внешних ссылок на страницы сайта: 111
Время последнего посещения сайта роботом 15.06.2010
Загружено роботом: 1
Исключено роботом: 1

Загружено роботом: www.domen.ru 1 100,0%

Исключено роботом:
===============================
Замечания: нельзя с уверенностью сказать, страницы намеренно запрещены к индексированию или нет.

HTTP-статус: Неавторизованный запрос (401)?
От сервера получен код ошибки 401 Unauthorized. Для доступа к документу необходимо вводить пароль или быть зарегистрированным пользователем. Обратитесь к администратору своего сервера.

Ссылки на страницу: /
Последнее изменение: 8.06.2010
Последнее посещение: 15.06.2010
===============================

Пробовал удалить сайт из Я.Вебмастер и повторно добавлял.

Google проиндексировал за пару дней, Яндекс что-то не спешит.

Вопрос: как часто робот Яндекса заходит на сайт и ждать ли его учитывая, что он пару месяцев получал 401 ошибку.

2. Sitemap

Сайт небольшой аля визитка, sitemap написал сам, получилось что в индекс должно попасть около 40 страниц. Добавил sitemap в Яндекс и Google через их сервисы для вебмастеров. Google поплевываясь и кривясь сказал - "Все класно, вижу 35 страниц", Яндекс повернулся к сайту ж... и изрек: - "Невалидный XML. Файл Sitemap не является правильно построенным (well-formed) XML документом, т.е. не соответствует правилам синтаксиса XML." Заявление его выглядело не уверенно, так как в столбце проверки было две надписи, первая сообщала об 1 ошибке (указал ее выше), вторая сообщала, что все отлично.

Не долго думая пошел я проверять свой sitemap через http://validator.w3.org/ и http://www.validome.org/xml/.

Ответ http://validator.w3.org/

This document was successfully checked as well-formed XML!
Result: Passed, 1 warning(s)

Warning No DOCTYPE found! Checking XML syntax only.

The DOCTYPE Declaration was not recognized or is missing. This probably means that the Formal Public Identifier contains a spelling error, or that the Declaration is not using correct syntax, or that your XML document is not using a DOCTYPE Declaration.

Validation of the document has been skipped, and a simple check of the well-formedness of the XML syntax has been performed instead.

Learn how to add a doctype to your document from our FAQ, or use the validator's option to validate your XML document against a specific Document Type

Ответ http://www.validome.org/xml/

Error (1)
Line File name: http://www.domain.ru/sitemap.xml
2 Column: 62
Error: Can not find declaration of element 'urlset'.
Error Position:
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

Мой sitemap выглядит следующим образом

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.domain.ru</loc>
<priority>1.00</priority>
<changefreq>daily</changefreq>
</url>
<url>
<loc>http://www.domain.ru/about.html</loc>
<priority>1.00</priority>
<changefreq>daily</changefreq>
</url>
// ..и далее для всех ссылок по аналогии.
</urlset>

Вопрос: что не так? :) Сейчас попробовал удалить Sitemap из Я.Вебмастер и добавил его снова, жду повторной проверки...

Инфокос - Покупка, продажа, обмен недвижимости в Костомукше (http://www.infokos.ru/)
S
На сайте с 17.10.2009
Offline
6
#1

Не забывайте проставлять приоритет ссылкам в зависимости от уровня вложенности.


<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.domain.ru</loc>
<lastmod>2010-05-28</lastmod>
<changefreq>daily</changefreq>
<priority>1.00</priority>
</url>
<url>
<loc>http://www.domain.ru/about.html</loc>
<lastmod>2010-05-28</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://www.domain.ru/directory/about.html</loc>
<lastmod>2010-05-28</lastmod>
<changefreq>daily</changefreq>
<priority>0.6</priority>
</url>
// ..и далее для всех ссылок по аналогии.
</urlset>
[Удален]
#2

В наше время много отличных онлайн сервисов.

Через них проще и быстрее сделать правильный sitemap который съест тот-же Гугл с Яшей.

FR
На сайте с 04.03.2009
Offline
31
#3
Delgado:
В наше время много отличных онлайн сервисов.

А для вордпресса есть прекрасный плагин - Google XML Sitemaps, устанавливайте и запускаете.

Z
На сайте с 13.12.2009
Offline
452
#4

а какой смысл удалять сайт из вми потом опять его совать туда и тоже самое с сайтмапом делать?

1 раз сделайте нормальный сайтмап с помощью какого-нить сервиса, запихните его и ждите. Яндек он такой, быстро шевелицо не особо любит. А можете потом еще ссылок нарыть на сайт, отписаться в блогах популярных да хоть прям тут в подпись ссылку повесить и бот придет и может быть даже переиндексирует все

Консультации, seo-аудиты - https://seo-consulting.su Профессионально и без воды
xpycteamset
На сайте с 05.10.2009
Offline
129
#5

Скинь урл в личку сгенерирую карту сайта...

T
На сайте с 11.06.2010
Offline
10
#6

Напишите сайты для генерации карты.

Я вот этот знаю, но там до 500страниц делает http://www.xml-sitemaps.com/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий