Да. Снизу под ней приводиться список страниц (с несуществующего сайта), которые выбили ошибку и по статистике (самописный скрипт) видны заходы с Гугла по поиску на несуществующие страницы. А вот это уже очень нехорошо.
Согласен. Но ведь старого сайта уже нет, как и его страниц. А вот такие "грибы" появляются:
[ATTACH]130059[/ATTACH]
Еще хуже обстоят дела с файлами. Допустим, новый сайт гугл обходит весь (не глядя на роботс), и ссылки всех файлом появляются в его скрытой отдаче. Удаляй не удаляй - не помогает.
В принципе, они об этом и говорят, что закрытие доступа в роботсе, не есть для них основанием для его не индексации, просто в результатах поиска отдают на них ссылки по другому.
К тому же, я не уверен, что такие скрытые в роботсе папки и файлы гугл не использует для формирования структуры сайта с последующим ранжированием и распределением веса по страницам
Остаются лишь такие сопли 🍾 (на примере этого форума):
[ATTACH]130057[/ATTACH]
[ATTACH]130058[/ATTACH]
Так оно и должно быть, но сайт 2008 года и было много внешних (не траст) ссылок на него. Уже вычистил все социальные сети и доски объявлений. Все равно не помогает.
Кстати, если вы закроете страницу в роботс, то в гугл ее все равно индексирует, но скрывает, и внизу выдает следующую надпись:
"Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (196). Показать скрытые результаты."
Если нажимаете показать, то увидите, следующее:
Заголовок - здесь заголовок найденной страницы
Ссылка - ее урл.
"Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."
Удаление в Гугле не совсем корректно работает. Сейчас занимаюсь одним сайтом, так третий месяц вычищаю все старые ссылки. Вроде бы все удалил, через неделю, как грибы другие (несуществующие) появляются.
К тому же, если Вы через этот сервис удалили страницу она через какое-то время вновь будет проиндексирована роботом.
Если доступ запрещен в .htaccess, то сервер ответит: "You don't have permission to access / on this server." (за клоакинг можете не переживать).
А может лучше сделать пересылку на новый сайт?
Если хотите закрыться от поисковиков, то да. Например:
RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteRule ^.*$ - [F,L]
Можете оставить доступ только себе по IP или поставьте пароль, тогда никто (и боты тоже) не зайдет.
Смотря, какую цель Вы перед собой поставите.
Или же несколько строк в .htaccess пропишите, тогда удалять не придется.
А почему через .htaccess не попробывали?
Правильно пишут... А что написано сверху с примерами, где предлагается часть стиля писать в шапке через скрипт, часть в блочных элементах, а оставшуюся часть вызывать файлом после </html>.
Мы с Вами, коллега, всю тему так оффтопом зафлудим. Думаю, лучше отдельную тему создать, т.к. в Нете информации по оптимизации в ГуглИнсайсе "кот наплакал".
