Запрет/разрешение через robots.txt + удаление из поисковиков?

12
X
На сайте с 26.03.2006
Offline
13
x7m
1982

Интересуют, волнуют 2 вопроса:

1. в robots.txt

User-Agent: *

Allow: /archive/

User-Agent: *

Disallow: /

Будет ли это означать то, что я указал? Мне нужно, чтобы индексировался архив форума, который оптимально заточен под поисковики. Или же правило запрета будет главнее, чем разрешение архива?

2. Как быстрее удалиться из Yandex, Rambler свои старые URL корня форума? В robots.txt запрет, как видите поставил, в Yandex, Rambler - удаление сайта запустил. Сколько ждать, примерно?

X
На сайте с 26.03.2006
Offline
13
x7m
#1

И еще, в каталоге архив у меня лежит robots.txt

User-Agent: *

Allow: /

Нужен ли он там, вообще?

Donald
На сайте с 30.10.2004
Offline
28
#2

Вам сюда http://www.robotstxt.org/wc/exclusion-admin.html

Вкратце, нет директивы Allow в robots.txt

Каталог (http://www.eprst.ru), новости (http://news.eprst.ru), чат (http://chat.eprst.ru), открытки (http://postcards.eprst.ru), знакомства (http://lovers.eprst.ru), клубы (http://clubs.eprst.ru), мелодии для сотовых (http://mobile.eprst.ru), email (http://mail.eprst.ru).
X
На сайте с 26.03.2006
Offline
13
x7m
#3

А с поисковиками что скажите?

Donald
На сайте с 30.10.2004
Offline
28
#4

Не знаю. По собственному опыту только: Гугл удалил в течение нескольких часов, Яшка - дней. А Рамблер - до сих пор не удалил. Но может это просто мне не повезло.

SiriuS
На сайте с 26.02.2005
Offline
244
#5

У меня тут возникла проблемка с форумом IPB как запретить страницы вида:

/topic8.html?mode=threaded&pid=9

/topic4.html?mode=linearplus

/topic22.html?pid=48&mode=threaded&show=&st=&

Нужно запретить все ссылки которы образуются после сообщений, что бы были такого плана:

/topic8.html

/topic4.html

/topic22.html

Как это можно сделать?

Новый форум Сочи о переезде на ПМЖ (https://forum-sochi.ru) - Бизнес и инвестиции в Сочи (https://forum-sochi.ru/forums/9/) - Новостройки и застройщики Сочи (https://forum-sochi.ru/forums/10/)
X
На сайте с 26.03.2006
Offline
13
x7m
#6

SiriuS, вероятно тебе надо уже как-то самому парсить урл, и выводить поисковику то, что ему нужно видеть.

Вопрос к Оллу, повторно

Как мне запретить доступ к индексации основного форума и направить поисковики в архив? Запрещать всевозможные ссылки через роботс, оставив путь только в архив?

K
На сайте с 31.01.2001
Offline
737
#7
x7m:
Запрещать всевозможные ссылки через роботс, оставив путь только в архив?

Disallow: /b

Disallow: /c

Disallow: /d

...

Disallow: /z

Примерно так.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
SiriuS
На сайте с 26.02.2005
Offline
244
#8
x7m:
SiriuS, вероятно тебе надо уже как-то самому парсить урл, и выводить поисковику то, что ему нужно видеть.

Не понял. Может ещё кто что подскажет?

Стахановец
На сайте с 05.03.2006
Offline
33
#9

тут помоему только один вариант. именно тот что указал Kost

запретить доступ во все директории и разрешить на нужную директорию.

FlyAway
На сайте с 01.06.2005
Offline
439
#10

SiriuS, так и запретить

User-Agent: *

Disallow: /topic8.html?

Disallow: /topic4.html?

Disallow: /topic22.html?

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий