robots для ucoz

V
На сайте с 24.01.2011
Offline
41
971

Здравствуйте, нужна помощь с сайтом на ucoz.

Как правильно бурать дубли страниц с помощью роботса на сайте на укоз?

Запретить к индексаций архив календаря по дате? Оставить только новости, которые на главной?

Запретить к индексаций каталога файлов и разрешить к индексаций только его категории и так далее?

Кто оптимизировал сайт укоз для поисковиков какой правильный вариант?

Новая биржа (http://seobulls.ru/?ref=l2toplist) вечных ссылок!
september
На сайте с 11.09.2009
Offline
591
#1

User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat

Disallow: /search

Правильный роботс для укоз.

Если еще что-то нужно, помощь тут

$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
V
На сайте с 24.01.2011
Offline
41
#2

А дубли с календаря уберает?

A
На сайте с 13.05.2010
Offline
55
#3

А Вы посмотрите на ссылку, когда находитесь на странице календаря или скопируйте ссылку при наведении на дату в календаре.

Из первого, что попалось под руку - сайт.укоз.ру/news/2011/12/22

В этом случае достаточно добавить правило

Disallow: /news/201

И у Вас будут запрещены к индексации все ссылки содержащие в себе фрагмент "/news/201"

201 Здесь стоит из расчёта, что сайт создан не ранее 2010 и проживёт не более, чем до 2019.

Если сайт создан раньше или Вы думаете, что он проживёт более этого срока, пропишите Disallow: /news/20

V
На сайте с 24.01.2011
Offline
41
#4

Что можно еще закрыть от индексации что-бы исбежать дублей в поиске?

A
На сайте с 13.05.2010
Offline
55
#5

Сайт проиндексирован?

Если - Да, то пересмотрите проиндексированные страницы и укажите в robots.txt нужные правила, где укажите каталоги запрещённые к индексации.

После того, как Вы укажите новые правила, ненужные страницы можно удалить из поиска через панель вебмастера как в яндексе, так и в гугл. Никто не говорит, что страницы из поиска удалятся сразу же, но удалятся.

Пробежался по серпу, у топовых сайтов - стандартный robots.txt

Из чего можно сделать предположение, что его должно хватать с головой.

Если у Вас на этот счёт есть сомнения - смотрите первую часть комментария.

V
На сайте с 24.01.2011
Offline
41
#6

Думаю календарь закрыть достаточно

[Удален]
#7

В случае, если для Вашего сайта настроено главное зеркало в настройках "Я-вебмастер", лучше задать значение этого параметра в robots.txt. То есть, если вы настроили основное зеркало с www, то в robots.txt добавьте строчку

"Host: www.yourdomain.ru". А если без www - аналогично, без "www". Если там же выбрано значение "На усмотрение робота" - то указывать значение этого параметра не следует. В случае указания неглавного зеркала, которое вы задали в настройках вашего сайта в "Я-вебмастере" в robots.txt как главное, странички Вашего сайта не будут проиндексированы.

september
На сайте с 11.09.2009
Offline
591
#8

vangoga, вы смотрите ничего лишнего не закройте. Многие живут без роботс и нормально себя чувствуют. Лучше используйте тот вариант, что я предложил вам. От греха подальше.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий