Закрыл лишнее в robots.txt - теперь, просто, ждать или?

Astaldo
На сайте с 28.01.2006
Offline
174
836

Много всяких папок проиндексированы - половина из них не должны быть.

Цель: убрать их из индекса и больше не пускать.

Закрыл лишнее в robots.txt

User-Agent: *

Disallow: /папка/

- теперь, просто, ждать или надо как-то сказать Я, какое-нибудь "волшебное слово"?

Live as if you were to die tomorrow. Learn as if you were to live forever. Mahatma Gandhi
K
На сайте с 31.01.2001
Offline
737
#1

http://webmaster.yandex.ru/delurl.xml

"удалить весь подкаталог"

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Astaldo
На сайте с 28.01.2006
Offline
174
#2

Kost, О! Отлично! Мерси!

юни
На сайте с 01.11.2005
Offline
902
#3

А вот объясните мне, почему заблокированные в роботсе каталоги, Я из своего индекса удаляет споро, а страницы (на которые ответ 404, как и положено) - нет?

Ищу "все страницы сайта", Я выдаёт мне кучу, в которой есть и удалённые страницы - пытаюсь по ним перейти, "страница не найдена", пытаюсь засунуть их в "Удалить URL" - "документ не может быть удален из базы Яндекса, так как он не был проиндексирован"...

Как может непроиндексированный документ оставаться в выдаче?

https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS, https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
L
На сайте с 24.10.2005
Offline
24
#4
юни:
А вот объясните мне, почему заблокированные в роботсе каталоги, Я из своего индекса удаляет споро, а страницы (на которые ответ 404, как и положено) - нет?

Да, есть такое... Вручную удалила 100 страниц еще две недели назад - до сих пор в индексе...

Astaldo
На сайте с 28.01.2006
Offline
174
#5

юни, Знаете, у меня, не сомтря на полный дисалоу / каталога, всего, и ручное удаление каждой странички через рем.урл, ничего не поменялось вообще.

Дамаю, надо, просто, подождать.

Меня сроки не гонят, я, просто, жду.. морально настроился на месяца три -пол года... будет быстрее - не забуду - сообщу.

юни
На сайте с 01.11.2005
Offline
902
#6

Astaldo, да, сообщите плз. И я сюда кину, если изменения будут.

M
На сайте с 03.11.2004
Offline
94
#7

у меня ровно через месяц удалил

ZeHer
На сайте с 01.04.2006
Offline
87
#8

Подскажте пожалуйста, надоли закрывать от индексации папки субдоменов.

Структура на хосте такая что документы основного домена лежат в

public_html/

а поодомены там же

public_html/subdomain

так вот я заметил что MSN сегодня прошелся по папке субдомена не через subdomain.site.com , а через site.com/subdomain

Раньше никогда с таким не сталкивался вообще, и документов ссылаюшихся на эту папку вроде нету тоже

FlyAway
На сайте с 01.06.2005
Offline
439
#9

ZeHer, в субдоменах можно отдельно robots.txt прописать (если это действительно субдомены, а не папки...).

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий