Первого вопроса я не понял.
В хелпе речь идет о том, что удаление раздела из структуры не приводит к удалению документов из поиска (это просто виртуальное удаление виртуального раздела из вебмастера).
По второму - при создании пользовательского раздела в структуре - данные по этому разделу собираются целиком. Эти разделы созданы, во-многом для того, что бы дать вебмастерам возможность отслеживать разделы, занимающие меньше 1% от общего объема сайта.
Толока - это вообще про другое, с качеством сайтов она связана очень посредственно.
Выдача зависит от кучи факторов. Увидеть на какой позиции по запросу сайт реально физически показывается "в среднем" можно только через один единственный сервис - Яндекс.Вебмастер.
Все остальное - это так, "общая картинка для пристрелки и самоуспокоения"
Естественно в индексе неможет быть страниц, которые отдают 404 и Яндекс про это знает.
Зайдите в вебмастер и посмотрите в индексироваии и загруженных страницах примеры страниц с 404-м кодом
Для яндекса - URL это просто адрес документа. Из чего он состоит разницы для обхода нет
В вебмастере в цифре "загруженные" показывается количество всех известных поиску документов, которые он либо обошел, либо не смог обойти, в т.ч. из-за закрытия в robots. Документы, закрытые в robots.txt поисковым роботом не обходятся.
Можно зайти и посмотреть что яндекс реально обходит в разделе Индексирования - там можно подробно увидеть и по кодам ,что обошли и какая часть из документов исключена, как закрытые в robots.txt.
Если вы при этом видите что яндекс реально ходил по этим документам (а судя по вашему сообщению - нет, вы этого не видите) - тогда можно написать в саппорт
Со временем такие страницы из базы тоже уйдут.
Пессимизации из-за проблем в метрике не бывает. Если вы не получали аналогичных сигналов из вебмастера (только убедившись что подписаны на уведомления на фатальные и критичные проблемы) - значит поиск нормально скачивает документы с вашего сайта.
Сегодня в первой половине дня, действительно, были проблемы с подтверждением, но уже починили
После первого поста я даже думал подключиться к разговору... Но нет, после второго никак - я вообще получается для ТСа крайний случай возбудимости - не просто сотрудник Яндекса, а еще и исходно деанонимизированный!
Пойду место продам кому-нибудь что ли. А то надоело ипотеку платить из зарплаты...
При переезде Яндекс советует сначала переехать через robots.txt, а уже потом, после того как зеркало перенесется (что можно будет увидеть в Яндекс.Вебмастере) делать редиректы.
В данном случае Яндекс действительно не сможет прочитать robots.txt, потому что сам по себе стандарт robots.txt подразумевает его распространение именно на том домене, на котором он лежит физически.
