Sape мало индексирует страниц сайта

карта сайта одна лежит в корне сайта sitemap.xml указано в robots.txt

Иногда хостер выдает 503 ошибку, мне кажется здесь и зарыта собака

ТС расписываю по шагам:

делаете html-карту сайта, режите ее на страницы, так чтобы было с каждой было не больше 100 ссылок на внутренние страницы.

на получившиеся страницы делаете ссылки с главное страницы - таким образом, большая часть вашего сайта будет доступна для сапы.

отправляете сайт на индексацию сапе. смотрите логи, если кое-где будут проскакивать ошибки - меняйте хостинг. дело в том, что при таком количестве страниц, при каждодневной проверке ботом сапы, большинство г-хостингов ложится. зачастую хватает 1000 страниц, чтобы на таких хостингах ссылки уходили в еррор.

yanus добавил 10.06.2009 в 22:10

однозначно менять хостинг.

Т.е. делаем html карту сайта к примеру с помощью программы A1 Sitemap Generator, получены файл html делим ровно по 100 ссылок, делаем страницы с именами типа page1.html, page2.html и т.д. после эти страницы ложим в корень сайта и на главной странице сквозняком прописываем ссылки типа Раздел номер 1, Раздел номер 2. Т.е. так?

хостер у меня Мастерхост :)

megaivan добавил 10.06.2009 в 22:26

Мне кажется в этом и вся причина щас глянул лог, айпи паука sape, на хостинге лимит процессора стоит в 2,5% а лог выдает вот что:

[Wed Jun 10 18:02:15 2009] [warn] [client 217.107.36.73] Resource limit exceeded, access to mysite.ru is temporarily denied

[Wed Jun 10 18:02:15 2009] [warn] [client 217.107.36.73] CPU limit exceeded (15.1%)

Пипец, и что делать с этим .... МХ :(

да, но не забывайте, что больше 500 ссылок сапа с главной не съест. если будете делать карты на которой нет меню, левых ссылок и тд (тоесть карта в чистом виде) увеличивайте количество ссылок до 150. это максимум, который сапа ест с УВ2

на форуме сапы он обсуждался не раз, насколько я понял - многое зависит от конкретного сервера, на котором находится ваш сайт. на каких-то нормально, на каких-то сайт падает... на мой взгляд, если сайт приносит деньги, лучше потратиться на хостинг подороже, но надежнее.

так выход один менять хостера

megaivan, с МХ у меня в сапе нормально (т-т-т) живет сайт с 10к страниц.

но! - на чистом html-е и с очень простым кодом)

а вот на ВП - очень часто лежал... - пришлось убрать с МХ...

Не понял, т.е?

megaivan, сайты сделанные на ВордПресс очень часто страдали от нехватки ресурсов.

а какая стандартная схема для ДЛЕ? если не секрет

Подскажите пожалуйста, сайт лежит на МХ, ссылки с сайта не продаются - коммерческий, а какого Ваше мнение о МХ с точки зрения ПС?

На семинаре СПИК2009, Ашмановцы, поведали о "техническом бане" Яндекса - это когда паук Яши не может из-за хостера пройтись по сайту и тогда он выкидывает сайт из топа на пол года (если я правильно понял изложенную мысль Ашмановцами), но мне это кажется логичным. Поэтому и возник вышеизложенный вопрос.

Заранее всем большое спасибо за высказанные мнения.