Самое простое и элегантное. +
Введите адрес страницы и хост сюда http://ledfix.ru/data/robots.php
cheredov добавил 11.08.2011 в 14:58
Если сервер вернет ответ HTTP/1.0 301 Found значит стоит.
Location: http:// - куда редирект
cheredov добавил 11.08.2011 в 15:00
В Host вводите адрес сайта без http://
В GET относительный путь страницы
На все 100 согласен.
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=176035
Пользуйтесь на здоровье.
Это вы как поняли? Объясните. Кем учитываются? Как? может есть результаты какие экспериментов? Или вы сами работаете в Яндексе, а может даже в Гугле?
cheredov добавил 11.08.2011 в 00:47
Отлично! )))
Ну это вообще цирк 🍾
Digital-angels, В чем то вы правы. Буду пока дальше искать и экспериментировать. Результатами поделюсь.
Я не совсем понимаю какой вы из этого вывод делаете.
maddoc, извините за резкость, можно так попробовать:
RewriteEngine on
RewriteCond %{HTTP:VIA} !^$ [OR]
RewriteCond %{HTTP:FORWARDED} !^$ [OR]
RewriteCond %{HTTP:USERAGENT_VIA} !^$ [OR]
RewriteCond %{HTTP:X_FORWARDED_FOR} !^$ [OR]
RewriteCond %{HTTP:PROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:XPROXY_CONNECTION} !^$ [OR]
RewriteCond %{HTTP:HTTP_PC_REMOTE_ADDR} !^$ [OR]
RewriteCond %{HTTP:HTTP_CLIENT_IP} !^$
RewriteRule ^(.*)$ - [F]
Digital-angels, при всем уважении, эти выдачи не значат, что страницы поддоменов принадлежат домену в глазах Гугла. Так выдаются все страницы всех поддоменов на любом домене http://www.google.com/search?&q=site:welcome-to.org#sclient=psy&hl=ru&source=hp&q=site:22web.net&pbx=1&oq=site:22web.net&aq=f&aqi=&aql=&gs_sm=e&gs_upl=32777l35851l0l36106l9l9l0l0l0l0l382l2194l0.1.5.2l8l0&bav=on.2,or.r_gc.r_pw.&fp=4bb8a80848c5390e&biw=1366&bih=653
Вот если бы вы запросили с www, то получили бы
http://www.google.com/search?&q=site:welcome-to.org#sclient=psy&hl=ru&source=hp&q=site:www.welcome-to.org&pbx=1&oq=site:www.welcome-to.org&aq=f&aqi=&aql=&gs_sm=s&gs_upl=237831l241376l0l242618l6l6l0l0l0l2l259l1408l2-6l6l0&bav=on.2,or.r_gc.r_pw.&fp=4bb8a80848c5390e&biw=1366&bih=653
как раз там ничего и нет. Кстати если бы там что то было и гугл склеил зеркала, то выдача была бы непустая. А так, уж простите, все правильно.
Вот поэтому я лично запрещаю индексацию нужных вещей с помощью htaccess.
cheredov добавил 10.08.2011 в 00:25
Это яркий пример того, что robots.txt не является обязательным к исполнению роботами.
