Kost: ab-nn, а зачем у вас строка Allow: / во всех блоках? Она не имеет никакого смысла.
Кто-то говорит нужна, кто-то нет, сам то понимаю, что если там где-то запрещено, то все остальное разрешено, но например в "Создайте файл robots.txt" (вебмастер гугль) Allow:/ ставится автоматом...
А, кстати, для гугля существует правило host:, или подобное?
А можете объяснить, почему у вас в sitemap все адреса без www ?
Наверное надо уже выбрать что-нибудь одно.
Уже исправил, sitemap делает dle, а я там адрес без www вписал...
ТС, директиву Host "понимает" только Яндекс. Посему User-agent для робота Yandex следует задавать отдельно. Исправьте роботс на такой:
Спасибо, изменил, а сайтмэп обязательно в роботс указывать?
Роботс можно оставить таким:
User-agent: *
Disallow: /cgi-bin
Disallow: /magazin
Disallow: /katalog
Disallow: /personal
Disallow: /forum
Disallow: /index.php
Disallow: /user
Disallow: /ssilki.php
Disallow: /test.html
Если что не так - поправьте.
Host: как-бы необходим, я думаю
ЖЖ или своя Я
Если блок для Гугла и * одинаковые, то блок для Google можно выкинуть.
Да, правильно, выкинул. Спасибо.
ab-nn, а зачем у вас строка Allow: / во всех блоках? Она не имеет никакого смысла.
Кто-то говорит нужна, кто-то нет, сам то понимаю, что если там где-то запрещено, то все остальное разрешено, но например в "Создайте файл robots.txt" (вебмастер гугль) Allow:/ ставится автоматом...
А, кстати, для гугля существует правило host:, или подобное?
Да-да-да все как-бы теперь в порядке после добавления в .htaccess.... Интересно сколько времени пройдет когда Яндекс все у себя переиндексирует?...
В созданный в robots.txt впиши
Host: www.mysite.ru
и жди апа, все будет ок.
Скинь свой роботс... с такой ссылкой www.mysite.ru
и я тебе подправлю его
www.ab-nn.ru/robots.txt
ab-nn.ru/robots.txt
ab-nn добавил 07.02.2011 в 15:10
без WWW на с WWW
RewriteEngine On
RewriteCond %{HTTP_HOST} ^example.ru
RewriteRule (.*) http://www.example.ru/$1 [R=301,L]
с WWW на без него:
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.example.ru$ [NC]
RewriteRule ^(.*)$ http://example.ru/$1 [R=301,L]
RewriteEngine On
RewriteCond %{HTTP_HOST} ^example.ru
RewriteRule (.*) http://www.example.ru/$1 [R=301,L]
Это есть
В вебмастере яндекса тыкаю "загрузить роботс" - он грузит без WWW, а надо-бы с WWW
ab-nn добавил 07.02.2011 в 15:11
Хотя все получилось, спасибо, надо было обновить кэш))))
Бесплатный хостинг с поддержкой php
Записал в блокнотик ))))
Богатый образ жизни - это здорово!