больше 500000 страниц на сайте, как быть с индексацией?

АГС-17 Вам в помощь. Быстро решает проблему с индексацией такого количества страниц. Небось страницы уник СДЛ?

АГС-17 - это гранатомет, если я не ошибаюсь! Какое отношение он имеет к индексации? :D

а помнится когда-то были каталоги партнёрок по миллиону в индексе у яндекса))

я тогда наверно ещё не знал что такое интернет:)

<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

   <sitemap>

      <loc>http://www.example.com/sitemap1.xml.gz</loc>

      <lastmod>2004-10-01T18:23:17+00:00</lastmod>

   </sitemap>

   <sitemap>

      <loc>http://www.example.com/sitemap2.xml.gz</loc>

      <lastmod>2005-01-01</lastmod>

   </sitemap>

</sitemapindex>

ну и панелька йа-вебмастер позволяет вручную добавить нескоолько xml - карт. В одну не рекомендуется пихать более 50000 страниц, если правильно помню

самое прямое :-)))) /ru/forum/402874

Особенно больно этот гранатомет бьет по тем кто в танке :)

Вообще, довольно рискованное мероприятие - делать сайты с таким количеством страниц, учитывая, что под раздачу могут попасть даже качественные СДЛ.

нашел замечательную бесплатную русскую программу SitemapGenerator (прикрепил на всякий случай), но не могу понять, можно-ли в ней сделать так, что бы лишние ссылки не индексировались, типа:

http://site.ru/artist.php?view=Bad+Sector

http://site.ru/artist.php?view=Kraftwerk

http://site.ru/artist.php?view=Intermix

......

http://site.ru/music.php?style=+Dark+ambient

http://site.ru/music.php?style=Abstract%2C+Experimental%2C+Ambient

http://site.ru/music.php?style=+Rock%3B+Blues

......

(это нужно!!!)

http://site.ru/downloads.php?album=Per+Agata

http://site.ru/downloads.php?album=King+of+The+Beach

http://site.ru/downloads.php?album=Vox+In+Excelso

(это нужно!!!)

.....

и вот у меня таких около 400000 ссылок. Нужно, что бы проиндексировались только

http://site.ru/downloads.php?album= и все, что дальше, а остальное не нужно т.к. хлам! Как мне сделать это с помощью этой чудо программы?

Если ТС имеет столько страниц, это естественно страницы с не уникальным контентом.

Правильно говорили, что сайт легко может попасть под фильтр АГС, но единственный на мой взгляд выход, это смешивать данные страницы с уникальным, собственно написанным контентом. Да понимаю много, но если не попробовать данный вариант, то Вам предлагается ещё один вариант - удалить этот сайт самому. Как раз, в топике упомянули, что сайт с 250 тыс страничками загонялся ровно год.

Т.е. у Вас есть как минимум год и этот год вы должны отработать и уникализировать сайт по максимуму.

Не естественно.

Не так давно имел дело с единовременной заливкой на сайт примерно 100 000 страниц уникального осмысленного полезного текстового контента, так что всякое бывает :)