Яндекс накосячил с соблюдением стандарта файла robots.txt

uacommerce
На сайте с 23.04.2005
Offline
33
#41

Уважаемыйmelkov, вы написали

uacommerce,
Ваши проблемы не имеют отношения к robots.txt и зеркалам.

может всё-таки вы сможете как то хоть немного подробнее мне сказать к чему имеют отношения мои проблемы? А заодно и пояснить почему при нажатии на денежку уже 2 недели показывается ТИЦ = 0, хотя на денежке 375.

Это результат моих писем в службу поддержки?

Я не удивлюсь если завтра и на денежке будет 0.

Вообще, не требуйте особенно много от службы поддержки, там ведь тоже люди.

После того как вы отнеслись к моим письмам, как то не очень в это верится, скорее всего там сидят бездушные роботы.

Я уже писал, что надоедает просить и умолять..просто Яндекс где-то и как-то забыл, что без вебмастеров грошь ему цена. Не на мне он вспомнит об этом, я уверен, но бесконечно этот бардак продолжаться не будет.

С Уважением

Uacommerce

Чтоб у Вас всегда, благодаря чему, не смотря ни на что.
KO
На сайте с 19.11.2005
Offline
56
#42

Недавно столкнулся с этой проблемой, нашёл решение с использованием mod_rewrite:

1. Сделал файл robots.php c таким содержанием:


<?
if (stristr($_SERVER['HTTP_HOST'],'www.имя_сайта.ru'))
{
print "User-agent: *\r\nDisallow: /";
}
else
{
print "User-agent: *\r\nDisallow: /admin/";
}
?>

Здесь главным выбрано зеркало без префикса www.

2. Прописал в htaccess такую дерективу:


RewriteRule ^robots.txt robots.php [L]

Теперь сайт с www запрещается для индексации, а без www нет..

SS
На сайте с 03.09.2004
Offline
141
#43
robots.php

- это, конечно, круто, учитывая то, что файл должен обзываться robots.txt :)

«Клянусь своей жизнью и любовью к ней, что никогда не буду жить ради другого человека и никогда не попрошу и не заставлю другого человека жить ради меня» (с) Джон Галт
KO
На сайте с 19.11.2005
Offline
56
#44
Seventh Son:
- это, конечно, круто, учитывая то, что файл должен обзываться robots.txt :)

Ну те кто разбираются поняли, что я имел в виду...

Антон Лавеев
На сайте с 31.10.2005
Offline
425
#45

k-os, Интересное решение. И что, работает это? Просто есть подозрение, что боту может не понравится такая подмена. Я не знаю, способны ли разные боты это определять, но есть тут что то от клоаки, ИМХО

☠️☠️☠️
SS
На сайте с 03.09.2004
Offline
141
#46
Ну те кто разбираются поняли, что я имел в виду...

А, ну да.

Нижнюю строку не увидел. Sorry.

andrej-ilin
На сайте с 28.03.2005
Offline
42
#47

k-os, творческий подход. Боюсь, что Яндексу не понравится, если мы начнем применять этот метод. Кстати, не забудьте сообщить о результатах эксперимента.

andrej-ilin@yandex.ru
KO
На сайте с 19.11.2005
Offline
56
#48

Я ничего нового не придумал, на странице яндекса приведен код файла robots.txt с использованием SSI..


<!--#if expr=" \"${HTTP_HOST}\" != \"www.главное_имя.ru\" " -->
User-Agent: *
Disallow: /
<!--#endif -->

Там написано:


Проверить результат можно, просто запросив страницы:
http://www.главное_имя.ru/robots.txt
http://www.другое_имя.ru/robots.txt
и т.д. Результаты должны быть разные.

Но с SSI у меня почему-то не работало, поэтому я сделал c rewrite..тот же результат..

M
На сайте с 05.05.2003
Offline
21
#49
wolf:
Робот-зеркальщик, считает, видимо, по-другому (разные люди писали?) и главным назначил второстепенное зеркало www.othersite.ru, о чем и говорится при попытке добавить в индекс домен www.site.ru через форму http://webmaster.yandex.ru/

Индексатор, видимо, как и сервис Яндекса по проверке robots.txt, считает, что файл корректный и выкинул сайт www.othersite.ru из индекса, а добавить www.site.ru нельзя, т.к. он считается второстепенным зеркалом сайта www.othersite.ru

Вот такой бардачок получился. robots.txt на фиг снесли. Ждём.

У меня такая же ситуация - главным считается сайт, которого уже месяц нет в базе Яндекса.

Но через форму по-прежнему не можем добавить основной сайт - так как он считается "зеркалом" того, которого уже давно нет.

Подскажите, исправилась ли у Вас ситуация? Через сколько времени?

wolf
На сайте с 13.03.2001
Offline
1183
#50
marat:
Подскажите, исправилась ли у Вас ситуация? Через сколько времени?

Исправилась. Сколько времени прошло - не скажу точно. Но недолго.

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий