Как увеличить к-во проиндексированных страниц в МЕТЕ?

1. Что такое файл Sitemap?
В простейшем случае это текстовый файл со списком страниц сайта, на которые Вы хотели бы пригласить робота Меты в первую очередь. В расширенном варианте в этом файле можно также задать частоту обновления страниц, их важность для сайта и дату последнего обновления страницы.

В обычном случае робот все равно попадет на эти страницы по ссылкам внутри сайта, и файл Sitemap только ускоряет его появление на них. Однако для сайтов с динамическими страницами, частыми обновлениями, сложной навигацией и обширными архивами существует вероятность <потери> некоторых страниц из поискового индекса.

Файл Sitemap помогает решить эти проблемы.
Файлы Sitemap учитываются роботом, однако это не является гарантией того, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс.

2. Какие форматы файлов Sitemap поддерживает <МЕТА>?
<МЕТА> поддерживает два формата файлов Sitemap:
- текстовый файл.
- XML

С описанием форматов можно ознакомиться на сайте http://www.sitemaps.org/ru/protocol.php

Текстовый формат описан на этой же странице в пункте <Текстовый файл> раздела
<Другие форматы файла Sitemap>. Он представляет из себя простое перечисление URL сайта, включая префикс http, по одному на строку, но не более 50000 записей или 10Мб. Другие требования к файлу нужно посмотреть по указанной ссылке.
Формат XML является более продвинутым, т.к. позволяет предоставлять дополнительную информацию о страницах сайта. Для каждого URL можно указать:

- дату последнего обновления страницы (lastmod);
- частоту изменения страницы (changefreq);
- относительную значимость страницы (priority).

Файлы Sitemap учитываются при обходе сайта, однако мы не гарантируем, что все URL из вашего файла Sitemap будут добавлены в поисковый индекс.

3. Как сообщить роботу о файле Sitemap?
Вы можете сообщить о наличии файла Sitemap для своего сайта двумя способами:
- добавив URL файла Sitemap в разделе МетаВебмастер;
- добавив директиву Sitemap в файле robots.txt вашего сайта.

Для указания местоположения Sitemap в robots.txt добавьте следующую строку:
Sitemap: <sitemap_location>
например:
Sitemap: http://www.yoursite.ua/sitemap.xml или Sitemap: http://www.yoursite.ua/sitemap.xml.gz
Можно указать несколько файлов Sitemap для каждого файла robots.txt,
например:
Sitemap: <sitemap1_location>
Sitemap: <sitemap2_location>

4. Нужно ли создавать для Меты отдельный Sitemap, если Вы создали уже такой для Google (Яндекса) ?
Нет, не нужно. Достаточно сообщить нашему роботу его местоположение одним из указанных в п.3 способов.

С введением поддержки данного формата файлов <МЕТА> дает возможность вебмастерам управлять ее роботами непосредственно на своем сайте, а не только путем переписки с нашей дружественной и отзывчивой техподдержкой :-)