semenov

Звездочка как бы подразумевает всех роботов, поэтому суть дела не меняется:

robots.txt №1:

User-Agent: *

Disallow: /dir/

Allow: *.html

User-Agent: Yandex

Disallow: /dir/

Allow: *.html

User-Agent: Googlebot

Disallow: /dir/

Allow: *.html

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html запрещен правилом /dir/

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 11: Allow: *.html

http://site.ru/123.html Разрешено в строке 11: Allow: *.html

robots.txt №2:

User-Agent: *

Allow: *.html

Disallow: /dir/

User-Agent: Yandex

Allow: *.html

Disallow: /dir/

User-Agent: Googlebot

Allow: *.html

Disallow: /dir/

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html разрешен

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 10: Allow: *.html

http://site.ru/123.html Разрешено в строке 10: Allow: *.html

Чем популярней сайт - тем больше неистребимое паразитирование, ибо людей жмущих на ссылку вконнатакте спасет только лоботомирование

Редко - понятие растяжимое

> так а как разрешить главную?

Allow: /$

User-agent: *

Disallow: /files/

Disallow: /profile.php?mode=sendpassword

Disallow: /russian/

Disallow: /english/

Disallow: /static/i/

Disallow: /cache/

Disallow: /texts/

Disallow: /functions/

Disallow: /vote/

Disallow: /complain.php

Allow: /abc_

Disallow: /

Не, так лучше не делать, лучше в htaccess прибанить

http://sitepumper.ru/

http://www.addsearch.ru/

Нормальные люди будут попадать в нормальный ад, спаммеры - в колотибабло, навечно 😂

Scaryer:

Обычный фишинг

http://www.bing.com/community/site_blogs/b/webmaster/archive/2009/08/10/crawl-delay-and-the-bing-crawler-msnbot.aspx