solt: Тоже хотел по экспериментировать с /pages/*/ с помощью роботс.тхт. Т.к. у этих страниц полезность информации стремиться к нулю (в случае если ресурс обновляемый!).
А вот как сделать чтобы робот по ним ходит а в индекс не принимал?
И ещё что хотел спросить-карта сайта одинакова для Гугла и Янедкса? Или для каждого свою нужно создавать? Сделал вот такую,правда не понял для кого она.....http://s61.radikal.ru/i174/1005/cc/2f23e6deca58.jpg
Sitemap един для всех ботов. Пропиши в роботс эту директиву с местонахождением xml карты: Sitemap: {полный путь к карте сайта}
А что мешает сделать статическую страницу на сайте например hoiui45h3i45u3.html и в неё загружать обратные ссылки, и естественно не давать на эту страницу ссылок ни с главной ни с каких других страниц сайта?
Каким образом старые будут дубли создавать? Их попросту нет, яндекс их выкинет из индекса и с новыми урл'ами проиндексит.
А кто сказал что их нет? Они как раз-то есть, и могут создавать дубли по старому адресу - /index.php?newsid=*
Ну, это обычное явление при смене урл'ов.
Смотрите теперь чтоб старые урл'ы дубли не создавали.
Не понял смысла, зачем генерировать отдельно для пс больше страниц чем есть на самом деле? Может, подмена?
Тоже хотел по экспериментировать с /pages/*/ с помощью роботс.тхт. Т.к. у этих страниц полезность информации стремиться к нулю (в случае если ресурс обновляемый!).
А вот как сделать чтобы робот по ним ходит а в индекс не принимал?
<meta name="robots" content="noindex,follow">
выходит что нет. :(
1. Не стоит. Етим вы запретите боту ходить по номерам страницы сайта /pages/2/, /pages/3/.
Все равно там инфа будет обновляться, да и основной контент у вас должен лежать в самих темах.
2. Можно под один user-agent.
Только путь пиши полный, а не относительный:
Sitemap: http://домен.ру/sitemap.xml
Sitemap един для всех ботов. Пропиши в роботс эту директиву с местонахождением xml карты: Sitemap: {полный путь к карте сайта}
А что мешает каталогам скормить эту страничку пс?
теги закройте для индексации, они там дубли создают.
http://yandex.ru/yandsearch?clid=14585&text=%22Trainer+%D0%BA+%D0%B8%D0%B3%D1%80%D0%B5+COH+8%2B+%D0%B4%D0%BB%D1%8F+%D0%BF%D0%B0%D1%82%D1%87%D0%B0+2.601%22&lr=208