Индексация сайта с WWW и без.

Роботс можно оставить таким:

User-agent: *

Disallow: /cgi-bin

Disallow: /magazin

Disallow: /katalog

Disallow: /personal

Disallow: /forum

Disallow: /index.php

Disallow: /user

Disallow: /ssilki.php

Disallow: /test.html

Если что не так - поправьте.

Host: как-бы необходим, я думаю

ТС, директиву Host "понимает" только Яндекс. Посему User-agent для робота Yandex следует задавать отдельно. Исправьте роботс на такой:

User-agent: *

Disallow: /cgi-bin

Disallow: /magazin

Disallow: /katalog

Disallow: /personal

Disallow: /forum

Disallow: /index.php

Disallow: /user

Disallow: /ssilki.php

Disallow: /test.html



User-agent: Yandex

Disallow: /cgi-bin

Disallow: /magazin

Disallow: /katalog

Disallow: /personal

Disallow: /forum

Disallow: /index.php

Disallow: /user

Disallow: /ssilki.php

Disallow: /test.html

Host: www.ab-nn.ru



Sitemap: http://www.ab-nn.ru/sitemap.xml

Спасибо, изменил, а сайтмэп обязательно в роботс указывать?

Нет, если вы путь указали в панелях вебмастера Яндекс и Google.

А можете объяснить, почему у вас в sitemap все адреса без www ?

Наверное надо уже выбрать что-нибудь одно.

Уже исправил, sitemap делает dle, а я там адрес без www вписал...