EvgRen

Рейтинг
107
Регистрация
19.11.2002
Если 404 выдать, уменьшится лимит, или нет?

Нет, на которые 200 отдают 500 страниц лимит... раньше был, сейчас не понятно что-то, и большее количество стал забирать.

Неверно. Директива Host должна быть только одна, потому как возможно только одно главное зеркало. Я из вопроса не понял, что Вы хотите сделать: указать Яндексу главное зеркало или запретить индексацию второго домена. Если нужно именно запретить, то в том же документе Яндекса, на которы вы привели ссылку, один способ решения проблемы описан:

Если у вас сервер Apache, то можно вместо использования директивы Host задать robots.txt с использованием директив SSI:

<!--#if expr=" \"${HTTP_HOST}\" != \"www.главное_имя.ru\" " -->
User-Agent: *
Disallow: /
<!--#endif -->

В этом файле роботу запрещен обход всех хостов, кроме

www.главное_имя.ru.
Как включать SSI, можно прочесть в документации по вашему серверу или обратиться к вашему системному администратору. Проверить результат можно, просто запросив страницы:

http://www.главное_имя.ru/robots.txt
http://www.другое_имя.ru/robots.txt
и т.д. Результаты должны быть разные.

А если хотите указать главное зеркало, то просто укажите его:


User-Agent: *
...
Host: www.domen1.ru

А для доменов третьего уровня отдельный robots.txt писать нужно.

Да.

На счет городов и операторов не знаю

МТС в регионах точно работает, да и вроде говорили, что все операторы должны поддерживать.

Поисковик узнает о структуре папок только по ссылкам.

Не только. Рамблеру узнать о новых страницах помогает счетчик Top100, Гуглу - его бар.

Поздравляю! 🍻

Поздравляю!

Наверно, только в исключительных случаях...

Ну да, наверное. Но бывает.

Апорт? Не замечал. Пример можно?

а яндекс все свои поддомены тоже как один считает, например народ

Нет, поддомены на бесплатных хостингах не склеиваются.

и как тогда робот их успевает проходить...

Поддомены склеиваются только в результатах поиска, роботом они обходятся как отдельные сайты, т.е. ограничение на количество индексируемых страниц за один визит робота распространяется на каждый отдельный поддомен.

Нет, так по-прежнему только яндекс поступает.

Не только. Рамблер в отдельных случаях тоже склеивает поддомены в выдаче, пример есть.

Всего: 1484