так же как и человек определяет.
поди переведенный гуглопереводчиком? Выкидывает сразу :)
SEOraptor, файл роботс управляет только сканируем. Если яша тупит и воспринимает запрет как - перестать сканировать и выкинуть из индекса, то это его проблемы. Гугл так не работает. Яша наверно так специально сделал, так как знал, что в раша работает :)
Я думаю достаточно. Есть желание дальше тролить? Продолжайте.
В мен в подобной ситуации гуглеры ответили "сайта нет и некому отдать 404" :)
дайте в ЛС пример? Я в кучу присоединю :)
Обсуждали миллион раз. Если страницы нет(404) и она закрыта в роботс, то и не получит бот этой 404, так ка она закрыта от сканирования. Если 301 и так же закрыта, то писал выше. Также бот не узнает. При вашем варианте, нет ее в индексе скорее всего. Нет сниппета, кроме надписи, что она закрыта. Доказать? Вбивайте в поиск "site:урл_страницы текст_с_страницы" и не будет сниппета. Если не понимаете как работает не нужно делать выводы на своем не понимании.
Калитка на замке, пройти рядом нельзя? :) нашел новую ссылку, пошел посмотреть. Или посмотрел, что от него прячут(клоакинг к примеру).
Сегодня закрыто. Завтра открыто. Как узнать?
SEOraptor, как бот узнает о редиректе, если Вы страницы в роботс закрыли?
Можно. Но не из гугла. Максимум, подсказки и то без циферок они не актуальны :)
Нет, не смертельно.
Разве только инструменты, смертельно задолбают месагами за это :)
xVOVAx, почему бы оба языка не сделать?
