вопрос про robots.txt

12
myscript
На сайте с 16.07.2007
Offline
135
695

Неделю назад баловался с robots.txt:madd:

и добаловался до того, что запретил к индексации то что не надо.

Google отреагировал махом и в течении 2-х дней вынес из индекса большую половину сайта.

Я конечно заметил свою оплошность, но поздно. robots поправил а он все продолжает и продолжает выбрасывать страницы из индекса.

Как его теперь остановить то.

Уже тупо ему прописал

Allow: /нужная папка/

Но он все равно выкидывать продолжает.

L
На сайте с 12.08.2011
Offline
15
#1

Можно попробовать прописать в коде всех страниц.

<meta name="robots" content="index, follow" /> - тогда, он обычно игнорирует даже robots.txt.

Можно еще в вебмастере Google поковыряться. - Удачи.

limpopo111
На сайте с 17.07.2009
Offline
91
#2
myscript:
Неделю назад баловался с robots.txt😡
и добаловался до того, что запретил к индексации то что не надо.
Google отреагировал махом и в течении 2-х дней вынес из индекса большую половину сайта.
Я конечно заметил свою оплошность, но поздно. robots поправил а он все продолжает и продолжает выбрасывать страницы из индекса.
Как его теперь остановить то.
Уже тупо ему прописал
Allow: /нужная папка/
Но он все равно выкидывать продолжает.

Уберите запрет на индексацию

Ибо так возлюбил Бог мир, что отдал Сына Своего Единородного Иисуса Христа в жертву за грех, чтобы всякий верующий в Него, не погиб, но имел жизнь вечную.
K
На сайте с 31.01.2001
Offline
737
#3
myscript:
Неделю назад

Это просто мгновение.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
myscript
На сайте с 16.07.2007
Offline
135
#4
limpopo111:
Уберите запрет на индексацию

Так я убрал запрет, мало того я ему конкретно говорю что индексировать

myscript добавил 29.09.2011 в 14:00

Linkov:
Можно попробовать прописать в коде всех страниц.
<meta name="robots" content="index, follow" /> - тогда, он обычно игнорирует даже robots.txt.
Можно еще в вебмастере Google поковыряться. - Удачи.

Спасибо, так и сделаю

K
На сайте с 31.01.2001
Offline
737
#5
Linkov:
<meta name="robots" content="index, follow" /> - тогда, он обычно игнорирует даже robots.txt.

Покажете хотя бы один такой пример? Или лишь бы ляпнуть чего-нибудь?

_
На сайте с 20.10.2006
Offline
197
#6
myscript:
Неделю назад баловался с robots.txt😡
и добаловался до того, что запретил к индексации то что не надо.
Google отреагировал махом и в течении 2-х дней вынес из индекса большую половину сайта.
Я конечно заметил свою оплошность, но поздно. robots поправил а он все продолжает и продолжает выбрасывать страницы из индекса.
Как его теперь остановить то.
Уже тупо ему прописал
Allow: /нужная папка/
Но он все равно выкидывать продолжает.

Бот срабатывает по первому вхождению. Тобишь если сначала идет указание не индексить, а потом ты добавил Allow: на эту же папку - он ее не проиндексирует.

Поэтому проверь еще раз роботс.тхт чтобы не было "двойных правил". Ну а так то время все вылечит... Ну и на будущее уже будешь знать

Вечные ссылки на качественных англоязычных площадках. (/ru/forum/883099) Результат гарантирую!
myscript
На сайте с 16.07.2007
Offline
135
#7

вообще интересует папка pages

сейчас роботс выглядет так

User-agent: *
Disallow: /*print
Disallow: /admin.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=favorites
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /statistics.html
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /user/
Disallow: /addnews.html
Allow: /pages/

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Спасибо всем. Надеюсь действительно время расставит по местам все.

berserkus
На сайте с 14.04.2009
Offline
101
#8

может все таки так

Allow: /pages/*

а лучше вообще убрать, и скормить пару ссылок

в роботсе должен быть хотяб один параметр Disallow: /backup/ (как пример)

если будет только 1 параметр Allow, то он будет индексить только этот параметр, а все остальное игнорить

почитайте подробнее у яши в хелпе

"Развивайте свой сайт", - сказал Яндекс, "Развивайте свои алгоритмы", - сказали вебмастера и ушли в гугл... (-=ber$erk=-)
K
На сайте с 31.01.2001
Offline
737
#9

berserkus, нафига звездочка на конце?

berserkus:
если будет только 1 параметр Allow, то он будет индексить только этот параметр, а все остальное игнорить

Это где написано? Порверьте в http://webmaster.yandex.ru/robots.xml и убедитесь, что вы ошиблись и попали пальцем в небо:

Используемые секции

Строка

1-2

User-agent: *

Allow: /dir/

Результаты проверки URL

URL Результат

http://www.site.ru/duraki-na-volge.html разрешен

L
На сайте с 12.08.2011
Offline
15
#10
Kost:
Покажете хотя бы один такой пример? Или лишь бы ляпнуть чего-нибудь?

Это пример из жизни. Сам был удивлен. обратился клиент - у него, все, что в роботс.тхт было запрещено - было проиндексировано. А в коде обнаружилась - вышеупомянутая строка.

Нет, не лишь бы ляпнуть.🙅

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий