kbv79, я не ленивый) за ответ спасибо) а пустая строка необходима?
При таком robots.txt Яндекс корректно будет обрабатывать директиву Host? Спасибо.
User-Agent: YandexDisallow:Host: site.ruUser-agent: GooglebotDisallow: /
для .cgi как сделать? спасибо
awilum, хочется так
futuristian, я не ленивый)) можете показать?
Утка-робот, скажите, пожалуйста, как прописать этот самый мета-фреш?
User-Agent: Yandex
Disallow:
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
User-agent: Googlebot
Disallow: /
корректно ли оформлен robots.txt?
zagred,
301 редирект не стоял. Гугл, как я понял, проанализировал содержание и признал новый домен неосновным зеркалом, хотя я бы хотел чтоб он признал его основным.
Создаю новое основное зеркало сайта (ЯК, ТИЦ, пр). И возникли следующие вопросы.
1. На сайте установлена sape, вариант ее убрать не рассматривается. Если я создаю зеркало сайта, то код вырезать?
2. Клею при помощи host, при этом гугл, на сколько мне известно, склеит раньше и признает основным зеркалом старый сайт. Как этого избежать? Запретить в том же robots.txt оба сайта к индексации гуглом?
3. Сделать на новом сайте вместо прямых исходящих ссылок сделать ссылки на редирект?
Буду благодарен за ответы.
крайне актуально. буду рад любой инфе по данному вопросу
