HTTP статус страницы проверяется?
Проверка на X-Robots-Tag есть?
User-agent какой?
Гарантии, что рефспамом занимаются хозяева сайтов - тоже
- Господа, ввиду непрекращающегося роста Интернета, нам не хватает мощностей, прикупим серверов или прибаним пачку сайтов?
- Дак сервера денег стоят, а прибанить - это пару кнопок нажать...
- Решено! Запостите на я.ру: "С целью дальнейшего улучшения качества выдачи мы ввели новый алгоритм - АГС-60..."
Не думаю что он на каждый запрос ломиться по новой страницу запрашивать
Звездочка как бы подразумевает всех роботов, поэтому суть дела не меняется:
robots.txt №1:
User-Agent: *
Disallow: /dir/
Allow: *.html
User-Agent: Yandex
User-Agent: Googlebot
URL:
http://site.ru/dir/123.html
http://site.ru/123.html
Результат проверки в вебмастере Яндекс:
http://site.ru/dir/123.html запрещен правилом /dir/
http://site.ru/123.html разрешен
Результат проверки в вебмастере Гугл:
http://site.ru/dir/123.html Разрешено в строке 11: Allow: *.html
http://site.ru/123.html Разрешено в строке 11: Allow: *.html
robots.txt №2:
http://site.ru/dir/123.html разрешен
http://site.ru/dir/123.html Разрешено в строке 10: Allow: *.html
http://site.ru/123.html Разрешено в строке 10: Allow: *.html
Чем популярней сайт - тем больше неистребимое паразитирование, ибо людей жмущих на ссылку вконнатакте спасет только лоботомирование
Редко - понятие растяжимое
> так а как разрешить главную?
Allow: /$
User-agent: *
Disallow: /files/
Disallow: /profile.php?mode=sendpassword
Disallow: /russian/
Disallow: /english/
Disallow: /static/i/
Disallow: /cache/
Disallow: /texts/
Disallow: /functions/
Disallow: /vote/
Disallow: /complain.php
Allow: /abc_
Disallow: /
Не, так лучше не делать, лучше в htaccess прибанить
