semenov

=)

это не копия

Если долго сидеть на берегу реки, то можно увидеть как мимо проплывёт труп твоего врага

Не, хватит пользоваться говносайтами 😂

HTTP статус страницы проверяется?

Проверка на X-Robots-Tag есть?

User-agent какой?

Гарантии, что рефспамом занимаются хозяева сайтов - тоже

- Господа, ввиду непрекращающегося роста Интернета, нам не хватает мощностей, прикупим серверов или прибаним пачку сайтов?

- Дак сервера денег стоят, а прибанить - это пару кнопок нажать...

- Решено! Запостите на я.ру: "С целью дальнейшего улучшения качества выдачи мы ввели новый алгоритм - АГС-60..."

Не думаю что он на каждый запрос ломиться по новой страницу запрашивать

Звездочка как бы подразумевает всех роботов, поэтому суть дела не меняется:

robots.txt №1:

User-Agent: *

Disallow: /dir/

Allow: *.html

User-Agent: Yandex

Disallow: /dir/

Allow: *.html

User-Agent: Googlebot

Disallow: /dir/

Allow: *.html

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html запрещен правилом /dir/

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 11: Allow: *.html

http://site.ru/123.html Разрешено в строке 11: Allow: *.html

robots.txt №2:

User-Agent: *

Allow: *.html

Disallow: /dir/

User-Agent: Yandex

Allow: *.html

Disallow: /dir/

User-Agent: Googlebot

Allow: *.html

Disallow: /dir/

URL:

http://site.ru/dir/123.html

http://site.ru/123.html

Результат проверки в вебмастере Яндекс:

http://site.ru/dir/123.html разрешен

http://site.ru/123.html разрешен

Результат проверки в вебмастере Гугл:

http://site.ru/dir/123.html Разрешено в строке 10: Allow: *.html

http://site.ru/123.html Разрешено в строке 10: Allow: *.html

Чем популярней сайт - тем больше неистребимое паразитирование, ибо людей жмущих на ссылку вконнатакте спасет только лоботомирование

Редко - понятие растяжимое