Чем создать sitemap.xml для гугла

Немного офтоп, но вопрос про сайтмап.

Сайтмап сделал правильно , но в заметил такую статистику в панели :

Статистика файла Sitemap:

Всего URL-адресов: 2016

Количество проиндексированных URL: 386

Количество проиндексированных не меняется уже 2 месяца, соответственно общее - растет. Поясните эту проблему.

Вот еще есть тулза- http://sitemap.xmlecho.org/

Ее фишка в том, что она генерит сайтмэп именно под Гугл, с учетом файла robots.txt, в котором есть директивы для Гугла (типа Allow) Бывает очень полезно ;)

Из минусов- только 5000 страниц.

Google не все подряд индексирует. Может, там неуникальный контент на страницах или контента очень мало.

"Google officially has a limit at 49'999 URLs; 40'000 is the default used by the GSiteCrawler"

Это прикол или у гугла реально есть такой лимит?

Да, именно так.

Если страниц больше, карта должна быть двухуровневая:

sitemap.xml - карта карт

sitemap1.xml, sitemap2.xml, sitemap3.xml, sitemap4.xml и т.д... - карты сайта с количеством ссылок не более 50К

Он не зависает, а повторно пытается вытянуть страницы, которые не были получены в течение 5 сек, читай отвилилсиь по таймауту. При чем с начала обрабатываются все страницы потом все, которые не смогли быть прочитанными с первого раза, если эти страницы опять отваливаются по таймауту, то складывается впечатление, что прилога зависла, а на самом деле она пашет. Если страница не была прочитатна то сейчас выдается об этом репорт.

Нужно конечно чтобы попытка прочитать страницу на вашем форуме была с таймаутом по больше. Но и вам нужно задуматься почему двигло на сайте не может выкатить страницу за 5 сек - это цифра которая превышает психологический порог ожидания юзером, другими словами достаточно высока вероятность, что юзер просто покинет ресурс, если ответы не приходят в течение 4-5 сек.

nothingbutseo добавил 11.06.2008 в 11:27

А теперь прикинь, если твой сайт будет краулится из вне (идексироваться внешним sitemap builder), в зависимости от количества ссылок на внутренние ресурсы на каждй из страниц вашго сайта, обработка, самая быстрая будет 3-4 страницы за сек.

Считаем

(250 000страниц/3(скорость обработки))/3600секунд_часе = ~ 23 часа с хвостом

Короче внешний крайлер для создания карты сайта для РЕАЛЬНЫХ сайтов выглядит мягко говоря не совсем подходящим. Нужно генерить карту сайта из базы, при этом модуль вашей CMS или форума должен не скать линки путем анализа всего и вся а напрямую создавать URL для карты сайта беря данные из базы вашего CMS или форума. Этот способ может отличаться на ДВА ПОРЯДКА по скорости по сравнению с тем если ваш сайт будет обрабатываться внешним краулером.

Внешний краулер хорош когда:

- вы создали сайт и не хотите с ним больше возиться, СДЕЛАЛ и ЗАБИЛ

- вы хотите оценить ваше творения на сайте, если сайт содержит грубые ошибки и при формировании страниц генерит неверные переходы, то попасть в инедкс поисковых систем будет практически не возможно Чтобы узнать что вы как Webmaster сделали что-то не так используйте внешний тул для создания карты сайта, он выдаст вам инфу что не так.

- у вас нестандартная система, и для не нет модулей которые строят карту сайта из базы

мож. быть я что-то пропустил, то добавлю когда вспомню :)

Долго мучился - сайт на джумле и все варианты изготовления карты мне не подошли. Они делают тучу лишних ссылок, которые генерирует движок. (ссылки на материалы без шаблона, текстовые версии для печати и так далее)

Так вот. Если у вас сайт на CMS Joomla, то рекомендую установить компонент Xmap. Генерирует отдельную страницу на сайте с учётом только реальных ссылок на материалы. На Гугль и Яндекс ставим ссылку, которую показывает компонент из админской панели (там 2 варианта - xml и html).

Очень доволен, ибо помимо того что "скормил" поисковикам карту, получил еще вдобавок хорошую навигационную страницу на сайт.

Скачать компонент можно тут

Пример работы компонента тут

пользую на виртуальном хостинге скриптик phpSitemapNG, но вот насчет его производительности при генерации карты 200k страниц ничего, к сожалению, сказать не могу. до 2k страниц генерит быстро и без претензий со стороны хостера.

Есть еще такой, до 1000 страниц:

http://htmlweb.ru/analiz/sitemap.php

неужели неть какихто php-скриптов для генерации sitemap? установил себе и в cron закинул, и робот ходит по твоему сайту с твоего же хостинга(чем экономит внешний трафф) и генерит sitemap.

помоему самое удобное решение...

подскажите кто знает подобные скрипты кроме того на который уже указал Drima