Как загнать в индекс 500 000 страниц?

12
Links Forever
На сайте с 20.08.2006
Offline
329
#11
Fringer:
не самая удобная структура, ну да ладно.
может у вас есть странички, которые вы бы хотели засунуть в первую очередь?
из вариантов - выше уже говорили про твиттер и сайтмап.
от себя добавлю: купить в сапе пару ссылок с трастовых СМИ ресурсов, на которых живет быстробот. после сканирования, можете снять.
однозначно все страницы одномоментно в индекс не влезут.

Поясняю. Домен частично проиндексирован, но лезет в индекс очень медленно. Первые 10000 страниц быстро входят, а потом по 10-100 за день. Это у гугла. У яндекса пока мало ибо апов не было толком. Твиттер выпадает из-за стоимости. Сайтмап сделаю. А вот что в первую очередь сувать не понятно. Я твиттером быстроробота нагнал на страницы разделов. От них надеюсь пойдет индексация вглубь и вширь. Но структура, как видите, страдает. Вот и думаю, как все это улучшить.

project33:
карта сайта должна быть до 10 мб в сжатом виде и содержать не более 50.000 url.
разбей на куски и загони все через вебмастер или пропиши в директиву Sitemap в robots.txt

А как она прописывается, если и несколько?

sitemap: http://www.site.ru/sitemap1.xml

sitemap: http://www.site.ru/sitemap2.xml

sitemap: http://www.site.ru/sitemap3.xml

...

Так? Просто никогда с этим не сталкивался.

Dolph:
500к сходу никак не влезут,

Это понятно. Никто и не говорит про сходу.

Dolph:

плюсом на таких объемах нужно бороться за каждый байт страницы (для гугла это точно, но и для яндекса скорее всего так есть),

Не понял, поясните, пожалуйста.

Dolph:
а судя по настройке перелинковки Вы этим явно не озаботились.

Не. Вот и спрашиваю, как это лучше сделать.

AntonIvan:
Ты со ссылками не переборщил? или мне, студенту, рассказывать тебе про оптимальное количество на странице? Чел выше написал про агс - я про бан - уже бытует мнение, что в индексе сайту недолго висеть.

Ну расскажи, студент, как у меня сайты с 200-300 внутренних ссылок годами в индексе сидят. Почему такие "достойные" АГС и бана сайты принимают в Яндекс новости и директ. Я слушаю.

Я очень люблю вкусные рецепты (https://povar24.info) квашеной капусты (https://kvashenaya-kapusta.ru/) и салат оливье (https://salatolive.ru/).
aklimovv
На сайте с 18.01.2008
Offline
224
#12

Почти так, делаешь ещё один сайтмап без цифры, куда прописываются, сайтмапы с цифрами и он потом загоняется в панель. Правда у меня примерно 120 000 было и я по 25 тыс разбивал, про 500 не вкурсах.

Fringer
На сайте с 19.09.2012
Offline
82
#13

необходимо создать файл индекса сайтмап.

если простыми словами - сначала создаете обычные сайтмапы, учитывая ограничения, а затем создаете один общий файл, в котором перечисляете ранее созданные сайтмапы.

это не сложно, просто звучит страшно:)

project33
На сайте с 30.04.2011
Offline
94
#14
_alk0g0lik_:
А как она прописывается, если и несколько?
sitemap: http://www.site.ru/sitemap1.xml
sitemap: http://www.site.ru/sitemap2.xml
sitemap: http://www.site.ru/sitemap3.xml
...
Так?

так тоже можно

Links Forever
На сайте с 20.08.2006
Offline
329
#15

Про сайтмап понял, вопрос снят, спасибо.

Если требуется передать несколько файлов Sitemap, необходимо перечислить каждый из этих файлов в файле индекса Sitemap. В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap. Размер этого файла не должен превышать 10 МБ (10 485 760 байт) и может быть сжат. У вас может быть несколько файлов Sitemap. Формат XML-файла индекса Sitemap очень похож на формат XML-файла Sitemap.

Пруф

А что по поводу структуры посоветуете?

project33
На сайте с 30.04.2011
Offline
94
#16

можно и файл индекса сделать, а можно и так:

Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все)

пруф http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#sitemap

по структуре - не нужно делать структуру ради структуры. нужно делать удобную навигацию, ориентируясь на юзабилити

S0
На сайте с 01.07.2011
Offline
101
#17

пару апов пройдет и получишь агс

Links Forever
На сайте с 20.08.2006
Offline
329
#18
se0master:
пару апов пройдет и получишь агс

Спасибо. Твое авторитетное мнение было так важно и так нужно, что бы я делал без него?!

Links Forever
На сайте с 20.08.2006
Offline
329
#19

Если кому интересно, то sitemap для нескольких sitemapов выглядит так:

<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>http://site.ru/sitemap1.xml</loc>
<lastmod>2014-01-25T18:23:17+00:00</lastmod>
</sitemap>

<sitemap>
<loc>http://site.ru/sitemap2.xml</loc>
<lastmod>2014-01-25T18:23:17+00:00</lastmod>
</sitemap>
</sitemapindex>
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий