http://dleviet.com/dle/h4ck/307-Compress-CSS-and-Javascript-files-of-your-template.html
1. Не нужен.
2. Ничем. Хост понимает только яндекс, там ему и место. Ситепам следует перенести в Юзер *.
Если инструкции для яндекса ничем не отличаются от набора правил для других ботов, хост можно написать в общию директиву.
User-Agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /comment/
Disallow: /forum
Disallow: /comments/
Disallow: *?feed=
Disallow: *?s=
Sitemap: http://****.ru/sitemap.xml
Host: ****.ru
ТС хочет заспамить как можно больше форумов варезными ссылками.
потерто....
http://wordstat.yandex.ru/?cmd=words&page=1&text=%D1%81%D0%BA%D0%B0%D1%87%D0%B0%D1%82%D1%8C+%D1%84%D0%B8%D0%BB%D1%8C%D0%BC%D1%8B+%D0%B1%D0%B5%D1%81%D0%BF%D0%BB%D0%B0%D1%82%D0%BD%D0%BE&geo=&text_geo=
ТС юзал статистику вордстата :)
Бредовый совет. Весь сайт закройте от индексации если страницы формируются динамически. 🚬
ТС, можно и так, тогда page.php будет доступен для индексации а page.php?id= - нет.
User-agent: * Disallow: /page.php?id=
Пример для запрета хотлинков, выдает другую картинку в зависимость от реффера
RewriteEngine on
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www\.)?mydomain.com/.*$ [NC]
RewriteRule \.(png|gif|jpg|jpeg)$ http://www.domain.com/youaretheworst.gif http://www.domain.com/youaretheworst.gif [R,L]
Вот не пойму, нафиг генерировать sitemap всякими левыми онлайн генераторами которые даже роботс не всегда учитывают, когда сама кмс нормально с этим справляется?!
Отправляйте ту карту которая содержит нормальные урл'ы, а теги закройте от индексации.
ТС, для гугла это дубли.
роботсом нельзя....
