Предупреждение в "Инструментах вэб-матсеров"

компонентом XMAP можете не заморачиваться просто сгенерируйте карту сайта

(например здесь http://www.seolib.ru/generators/map/xml/) добавте в корень и пропишите в роботсе.

Опять же не вижу вашей карты подсказать точнее не могу у вас есть папка

спецпредложения может в нее видут ссылки? А дубли(если у вас домены склеены)

просто постепенно убирайте через роботс

в инструментах для вебмастеров есть пунк посмотреть ка гуглебот добавляйте туда ваши урлы и жмите получить содержимое то что не получиться получить

будете разбираться

Разобрался... Оказывается если ставить примочку-компонент Xmap для сайтов на движке Joomla, то обязательно нужно учесть - совместим ли он с дополнительно установленным сторонним компонентом на сайте из области "компонент-движок" для доски объявлений, для форума, недвижимость, каталог, инет-магазин, K2, zoo.... ну, те кто юзают джумлы, поняли о чём речь.

У меня что получилось, Xmap не поддерживает JEA, потому и сделал карту сайта только на 22 ссылки - то что в главном меню и боковом. Я воспользовался ресурсами

http://www.web-site-map.com/xml_sitemap.php

http://www.sitemaps-builder.com/index.php

оба создали карту на 272-300 ссылок... разобраться осталось что лишнее отсечь. К примеру постраничная навигация влетела как 30 лишних ссылок по сайту...

Единственное остаётся посмотреть как гугл потом воспримет другую карту сайта, с 272 ссылками... А то что robots.txt вызывает глюк в Файле Sitemap внутри вэбмастер-тулс от гугла - пока не разобрался. Позже отпишусь, спасибо за оставленные дельные советы

Для Гугла добавьте в robots.txt строку:

User-agent: Mediapartners-Google

Disallow:

а что это дает?

У меня была подобная проблема в вебмастере гугла, цитата:

Чтобы устранить проблему, необходимо предоставить роботу AdSense доступ, добавив в начало файла robots.txt следующие две строки:

User-agent: Mediapartners-Google

Disallow:

В результате робот AdSense сможет сканировать те страницы, на которых уже есть рекламный код. Это приведет к повышению релевантности рекламы, что принесет пользу как Вам, так и посетителям Вашего ресурса.

Обратите внимание, что данное изменение никак не повлияет на рейтинг сайта в Google и других поисковых системах. Добавление указанных строк в файл robots.txt просто обеспечит показ более релевантных объявлений на тех страницах, где уже размещен код AdSense. Остальных страниц это действие не коснется.