Это я добавил. Но ссылки (а соответственно доп. сигналы) могут быть найдены и на внутренних страницах, поэтому follow тут остаётся функциональным и для контекста разговора тоже важно.
Как минимум Яндекс в своих выступления тоже активно оперирует этим понятием, поэтому составная часть названия "Вебмастер Яндекса" меня не смущает :)
Думаю, вопрос философский и ответ на него зависит от рабочих координат.
Влияет файл robots.txt на общую работу сайта (вне контекста поисковых систем) - нет, могут поисковые системы (изменить/поменять рекомендации использования данного файла или вообще признать устаревшим и не использовать) - да. Поэтому для меня это не часть сайта, а надстройка, доп. инструкция для работы с поисковыми системами.
Всё-таки мне ближе понятие "пофигу", ведь при полностью закрытой индексации в robots Яндекс может проиндексировать Главную (хоть и без содержания) и выводить этот документ в результатах поиска? Может.
Уточни пожалуйста, что конкретно ты имеешь ввиду?
Согласен. Все подобные уточнения и нюансы важны, сколько бы это не занимало килознаков.
Вот в том то и дело, что сослался, никакой самостоятельности и ответственности за свои мысли. Володя не до конца меня понял и начал свою линию разговора, а Махмуд сослался и удобрил своим внутренним бесивом.
Нет, уж, удобряйте, удобряйтесь и кушайте сами без меня :)
Мне интересны рабочие частности, а не выяснения отношений.
Ты для начала разберись в том, что написано, а потом уже делай выводы.
Глаз твой цепляет за твою внутреннюю неудовлетворённость, поэтому и ты цепляешься (и не только ко мне) по оправданным для себя поводам, вместо того, чтобы сказать по делу - ясно, учтиво и по сути.
Ты пытаешься провоцировать конфликт, заполняя ветку каким-то нелепыми личными претензиями, которые в данном рабочем разговорe совершенно не нужны и только мешают.
follow, nofollow, которые настраиваются в мета.
Которые ты, как вебмастер вносишь на сайт, либо в robots.txt
Для поисковой системы все настраивающие сайт - вебмастера :)
Совершенно верно. Но я не стал до конца описывать задачи проекта, поэтому ты меня и неправильно понял.
Disallow / у меня стоял для сброса индексации, а noindex, не в дополнение, а к следующим задачам, когда индексация будет сброшена, а я в последующем этапно планирую открывать отдельные разделы и страницы к индексации, что и в настоящий момент и реализуется.
Так вот и я о том же :) И Яндексу пофигу, что её текущee значение в мета noindex, он работает с уже устаревшей информацией. Поэтому я и объясняю, что пока не запустить процедуру принудительного переобхода таких эпизодов с включением в индекс страниц с noindex-ами может быть очень много.
И тянуться это может месяцами, соб-но, и это и есть исходный ответ на вопрос TC.
В моём случае мне это совсем не нужно, для меня это был короткий эпизод и я уже решил задачу вышеуказанным способом (отправил на переобход и всё).
Теперь я понял, откуда возникло противоречие :)
Я и не говорил, что в индексе есть страницы с содержанием noindex в коде, я уже третий раз говорю, что noindex - это не оперативное решение :)
Володь, тебе как обычно - спасибо за лояльность :) но никакой вины ни перед TC, ни перед тобой, ни перед моим рабочим проектом не было. Было недопонимание, в чём разобрались, и было сомнительноe зубоскальство со стороны еще одного пользователя форума, но вот этот выпад можно простить.
Я тебе уже ранее сказал, если тебя каждый раз раздирает бесиво, не читай и игнорируй. Не надо здесь мусорить. Тысячи бeсполезного, самодовольного словесного мусора на форуме как раз изрыгаются из твоего аккаунта, а здесь люди хотят разобраться в причинах и мы указываем TC на важные нюансы.
Валишь всё в одну кучу и индексирование, и следование по ссылкам, речь не об этом.
Еще раз - сайт был полностью запрещен, о чём Вебмастер вывел соответствующее уведомление. Это был сброс индексации глобальный. Но при этом некоторое время в индекс ещё залетали страницы. Почему залетали? Потому что инструкция Вебмастера - это одно, а порядок обработки накопленных данных Яндексом - другое.
Там могут быть данные полугодовой давности и поэтому сколько на них не смотри, свежее от этого они не станут. Однако замечание верное, потому что первичен и более приоритетен сигнал который есть у поисковика, поэтому на текущий Disallow или noindex, nofollow ему пофиг, до момента принудительного переобхода.
И дело тут в порядке следований инструкций, поэтому у TC и тянется всё это месяцами, а указанные noindex по факту является не более, чем рекомендацией в общей череде обработки данных.
Итого: принудительный переобход смещает фокус поисковика для обработки данных, именно поэтому данную процедуру нужно выполнять вручную, потому как ноуиндексы - это не более, чем доп. атрибут страницы, потому как фактическое состояние - это одно, а обработка старых данных, которая исполняется после ноуиндекса - другое.
Я тоже так считал, но вот недавний пример.
В 20-х числах сайту полностью была запрещена индексация на уровне robots и в мета постранично, а межу тем 31-го числа,
и я этому тоже очень сильно удивился. Поэтому теория - теорией, а практика вносит свои нюансы и коррективы.
Здесь - да.
Лучше
Потому как полезная информация/сигналы/трафик могут оставаться в сети.
Это инструкция, которая определённое время может игнорироваться. Недавний эксперимент - полный спрос индексации Disallow: / - три недели сайт видел в индексе, более того, прибавлял в индексе те страницы, которые были дополнительно указаны noindex, nofollow.
И только после принудительного переобхода страницы начали исключаться из индекса.
Я - делаю, и многие мои коллеги делают. Определяют порядок приоритетности и делают.
Кол-во - это не причина не делать. Кол-во - это условиe для определения порядка обработки.
Стоит это делать вручную с самостоятельно выстроенной структурой. Ни один сервис не учитывает специфику и нюансы бизнеса, которые необходимо изучать на уровне потребительских интентов.
Когда вы доверяете сервису, то вы берете на себя все возможные ошибки и неудачи в структурной сегментации.
