Вопрос по роботсам.txt

Сайт покажите

смотрите логи

файл у вас правильно обозван? и содержимое файла всяко можно выложить (host замените на site.ru, если показывать не хотите)

http://be1.ru/stat/?url=euro-tel.ru пишет:

robots.txt

Файл robots.txt недоступен: сервер вернул ошибку.

robots.txt по яндексу.... Яндекс то же самое весь день говорил

stussy добавил 29.12.2009 в 12:36

сам роботс: User-Agent: *

Disallow:

Host: www.euro-tel.ru

Так Вы на сам сайт заходили? Он 403 ошибку выдает.

В общем, там косяк - для www вроде видит роботсы, а для без www - не видит

stussy добавил 29.12.2009 в 12:49

Пока временно приторможу тему, вроде бы все пока встало на свои места. Всем спасибо

Значит чего-то с настройками сайта...

ТС, .htaccess проверьте.

В общем, ситуация такая, более подробно:

Есть:

1. домен http://www.euro-tel.ru он должен быть основным. На нем стоят роботсы, которые показывают, что основным стоит считать его. Он не проиндексирован, считается яндексом неосновным зеркалом домена http://enifcom.net/.

так же у это домена есть вариант без ввв (сайта на без ввв нет), который НЕ сцеплен с www шным. Тицы у них разные, к примеру.

2. Есть домен http://enifcom.net. Сначала был основным, продвигался, были позиции. Но стал не нужен как первоочередной. В яндексе проиндексирован. Однако, с него теперь есть редирект на http://www.euro-tel.ru

Но яндекс роботс ( в котором прописано, что www.euro-tel.ru основное зеркало) не видит, так как редирект отрабатывается раньше.

Вот как выглядит htaccess:

DirectoryIndex default.php index.php index.html index.htm

ErrorDocument 404 /

RewriteEngine on

Options +FollowSymlinks

RewriteRule ^.htaccess$ - [F]

RewriteCond %{HTTP_HOST} !^www.euro-tel.ru

RewriteRule ^(.*) http://www.euro-tel.ru/$1 [L,R=permanent,NC]

RewriteRule ^admin/(.*).xhtml$ admin/$1.php

RewriteRule ^news$ engine/news.php

RewriteRule ^sitemap$ engine/sitemap.php

RewriteRule ^map$ engine/map.php

RewriteRule ^pages\/([a-z0-9_]+).html$ engine/pages.php?index=$1

RewriteRule ^design/(style|ie6|admin).css$ engine/engine.php?tpl=$1.css&type=text/css

RewriteRule ^design/(unique|admin).js$ engine/engine.php?tpl=javascript/$1.js&type=text/javascript&jscode=%{QUERY_STRING}

RewriteRule ^(.*)pixel.gif$ design/pixel.gif

Нужно сделать www.euro-tel.ru основным зеркалом в ближайшее время. Все ссылки мною перенесены на www.euro-tel.ru.

Варианты (как я думаю):

1. Убить вообще enifcom.net (но тогда потеряем важный траффик с яндекса и гугла)

2. Сделать какой-то другой редирект, чтобы яндекс видел роботсы на enifcom.net (но вот как и какой? готов за помощь немного вмр перекинуть или просто большущее человеческое спассибо сказать)

3. Ждать и надеяться, что яндекс учтет этот редирект и со временем перекинет основное зеркало как мне хочется.

Или какой другой вариант?

К логам пока доступа нет, приходил ли зеркальщик не знаю (к сожалению).

Всем заранее огромное спасибо за советы.

Жду и надеюсь)

Если хотите склеить enifcom.net с www.euro-tel.ru - уберите редирект с первого на время, необходимое Яндексу для склейки (у меня был случай - почти два месяца потребовалось).

По euro-tel.

Вот пример действующего .htaccess с одного из моих сайтов - домен я Вам сразу прописал:

RewriteEngine on

RewriteCond %{HTTP_HOST} ^euro-tel\.ru$ [NC]

RewriteRule ^(.*)$ http://www.euro-tel.ru/$1 [R=301,L]

- так начинается файл, проверьте этот вариант и если сработает - дальше сами допишите остальные строки.