Все вопросы по robots.txt

M
На сайте с 02.07.2014
Offline
6
#361
bulatbulat48:
такие метатеги нужно использовать ооочень аккуратно, это закрытие всей файлов *1*

Вот поэтому и спрашиваю совета, как поступить...

А закрытие

Disallow: /page/

Disallow: /lastnews/

Можно спокойно делать?

B4
На сайте с 27.04.2012
Offline
94
#362
Mambaman:
Вот поэтому и спрашиваю совета, как поступить...

А закрытие
Disallow: /page/
Disallow: /lastnews/

Можно спокойно делать?

как я понимаю, 3 вопроса:

1) закрыть страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!!

Выглядит так: сайт.ру/1668/11/ (ну и по аналогии).

Disallow: /1668/

Disallow: /1785/

и тд

2) закрыть сайт.ру/lastnews/page/8/ и сайт.ру/page/...

Disallow: /page/

Disallow: /lastnews/

3) и оставить открытыми:

сайт.ру/12-название-статьи..

Рекомендация:

Allow: /12-название-статьи..

O
На сайте с 15.03.2015
Offline
14
#363
bulatbulat48:
С Google аналогично, для него robots.txt рекомендационный файл. Все зависит от ваших условий.

Понятно. Спасибо.

Позвольте я подытожу: Я планировал в robots.txt закрывать все, и потихоньку открывать все то, что считаю необходимым к индексированию. При этом я все равно оставляю мета-тег (изначально - т.е. при заливке на хостинг) для всех тех страниц, которые не хочу индексировать. И как я понял, все равно нет никакой гарантии, что эти страницы не попадут в индекс. И вот я исправно наблюдаю, и если страницы со временем в индекс не попадают - то я ничего не меняю. Если, вдруг, по какой-то неизвестной причине они попали туда, то тогда я разрешаю их (попавшие в индекс страницы) в robots.txt и жду, когда они удалятся из индекса благодаря мета-тегу.

Такой подход-алгоритм нормальный, действенный?

M
На сайте с 02.07.2014
Offline
6
#364

Спасибо, за то, что тратите свое время на зеленых! )))

Просто таким образом файл роботса будет "длинною в жизнь" )))

Нашел решение проблемы путем редактирования файла движка сайта. Еще раз спасибо!

B4
На сайте с 27.04.2012
Offline
94
#365
olpiaz:
Понятно. Спасибо.
Позвольте я подытожу: Я планировал в robots.txt закрывать все, и потихоньку открывать все то, что считаю необходимым к индексированию. При этом я все равно оставляю мета-тег (изначально - т.е. при заливке на хостинг) для всех тех страниц, которые не хочу индексировать. И как я понял, все равно нет никакой гарантии, что эти страницы не попадут в индекс. И вот я исправно наблюдаю, и если страницы со временем в индекс не попадают - то я ничего не меняю. Если, вдруг, по какой-то неизвестной причине они попали туда, то тогда я разрешаю их (попавшие в индекс страницы) в robots.txt и жду, когда они удалятся из индекса благодаря мета-тегу.
Такой подход-алгоритм нормальный, действенный?

Все закроется нормально благодаря метатегу или robots.txt. А то что не закроется можно удалить через быстрое удаление из выдачи в яндексе, после закрытия метатегом или robots.txt

---------- Добавлено 08.04.2015 в 14:36 ----------

Mambaman:
Спасибо, за то, что тратите свое время на зеленых! )))
Просто таким образом файл роботса будет "длинною в жизнь" )))
Нашел решение проблемы путем редактирования файла движка сайта. Еще раз спасибо!

Самое верное решение ☝

Сергей
На сайте с 20.02.2015
Offline
144
#366

Подскажите так можно.

Disallow: /категория/5-

Я правильно понимаю категория будет индексироваться а категория с дублем после слеша нет?

есть просто категория а так выглядит дубль вместе с категорией.

Спасибо

Доработки Opencart, joomla. Продвижение. Проверенный годами хостинг
B4
На сайте с 27.04.2012
Offline
94
#367
newkrasno:
Подскажите так можно.
Disallow: /категория/5-

Я правильно понимаю категория будет индексироваться а категория с дублем после слеша нет?
есть просто категория а так выглядит дубль вместе с категорией.

Спасибо

если правильно понял:

Disallow: /категория/5-

это означает Disallow: /категория/5-*

* - все что идет дальше так же не будет индексироваться

/категория/ #будет индексироваться

/категория/5- #не будет индексироваться

/категория/5-* #не будет индексироваться

Anibrut
На сайте с 28.05.2014
Offline
74
#368

bulatbulat48

Подскажите пожалуйста такой момент.

Нужно в скрытой папке открыть доступ только к одной внутренней.

Правильно ли все сделано?

Disallow: /service/

Disallow:...

......

......

......

Allow: /service/jscript/

B4
На сайте с 27.04.2012
Offline
94
#369
Anibrut:
bulatbulat48
Подскажите пожалуйста такой момент.
Нужно в скрытой папке открыть доступ только к одной внутренней.
Правильно ли все сделано?

Disallow: /service/
Disallow:...
......
......
......
Allow: /service/jscript/

верно, но в вашем примере будет открыты еще и все уровни /service/jscript/любая_папка/

если нужно чтобы только /jscript/ а дальше закрывалось, тогда:

Allow: /service/jscript/$

Anibrut
На сайте с 28.05.2014
Offline
74
#370

bulatbulat48, а как быстро изменения могут вступить в силу?

А то у меня из за этой папки оказалось 123 страницы заблокировано это по сводке GWTools.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий