подскажите адрса сайтов..

T
На сайте с 25.12.2003
Offline
44
552

..которые так сказать отказались от индексации гугля с помощью файла robots.txt ...

плиз очень надо.. :-)

K
На сайте с 31.01.2001
Offline
737
#1

Да где же их взять?!

Надо просто написать программу-робота, которая будет брать откуда-нибудь список сайтов (например из большого каталога) и смотреть /robots.txt у каждого. Например на языке perl это не должно быть сложно.

Хотя можно и угадать, например посморите

http://sm.aport.ru/robots.txt

http://yaca.yandex.ru/robots.txt - закрыто почти все

http://www.yandex.ru/robots.txt

http://www.rambler.ru/robots.txt

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
T
На сайте с 25.12.2003
Offline
44
#2

а что-нить кроме каталогов и поисковиков.., тоесть сайты с нормальной тематикой..

Алексей Пешков
На сайте с 24.03.2004
Offline
47
#3

ИМХО нормальные сайты клоакингом займутся

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий