Его показывал Яндекс-бар для главных страниц сайтов, но это было давно.
Появление происходит после захода робота, но, конечно, не сразу. См. здесь.
Терпение - главное качество оптимизатора ;)
Робот скачал страницы с этими ссылками и поставил их в очередь на индексацию.
Не самое правильное действие с вашей стороны. На индексацию надо подавать готовый сайт, на котором не происходит чехарда с адресами страниц.
Правильно, очередь дошла до индексации старых ссылок. Вы помните, они стоят в очереди на индексацию?
Это не шутка
User-agent: *
Disallow:
Это ничего не запрещает.
Как определить, кто является вашим конкурентом в поисковых системах.
Если запросов - 10, то можно и вручную.
1) Надо выписать рядом их частоты
2) Выписать адреса сайтов, выдаваемых в Яндексе в топ-10 по каждому из запросов.
3) Провести сложение частот для каждого сайта, появившегося в топ-10.
4) Остортировать по убыванию суммы.
Что, по ВСЕМ запросам?
Анекдот есть про "может, но не хочет" и "хочет, но не может". У вашего программиста, возможно более тяжелый случай "не хочет и не может".
На запрос robots.txt сервер обязян отдать код 200 (и корректное содержимое) или 404.
Во всех остальных случаях ( например 302 = "пошел нафиг вот туда...", 50x = "ошибка сервера") надеяться на индексацию не следует.
Почитайте RFC про HTTP, там все про коды ошибок написано.
Если на страницы в /rus/ есть ссылки с других сайтов, поставить по этим адресам серверный редирект. Если не пугает - mod_rewrite. Если таких страниц мало - можно обойтись и несколькими
RedirectPermanent
Букву пропустили :).
