Кто шарит robots.txt составить? (очень сложный вопрос, для спецов)

S
На сайте с 17.12.2008
Offline
300
482

В общем, страницы вида

http://site.ru/2010/09/12/welcome-to-this-site/

Уже давно, так что менять не получится.

Проблема в том, что Яндекс индексирует архивы, вот так вот

http://site.ru/2010/09/12/ - это архив за 12 число

http://site.ru/2010/09/ - а это архив за месяц

а это - за год http://site.ru/2010/

То есть, надо разрешить индексацию таких вот ссылок http://site.ru/2010/09/12/welcome-to-this-site/

А индексацию http://site.ru/2010/09/12/ и др. - запретить.

Хелп ми плиз!

15 жирных вечных ссылок с трастовых сайтов с высоким ТИЦ ( https://goo.gl/zd62Qa ) Найдем и устраним SEO-ошибки Вашего сайта, которые мешают продвижению ( https://goo.gl/gHsx1U ) Высококачественный рерайтинг: 50 р. / 1000 знаков ( https://goo.gl/5xDmhE )
S2
На сайте с 07.01.2008
Offline
611
#1

Придётся указывать все разрешённые адреса страниц. Схема такая:

User-agent: Yandex

Allow: /2010/09/12/welcome-to-this-site/

Disallow: /2010/

Сейчас проверил в http://webmaster.yandex.ru/robots.xml работает. Но я и раньше так делал, когда была схожая проблема для нескольких десятков адресов статей.

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
S
На сайте с 17.12.2008
Offline
300
#2
Str256:
Придётся указывать все разрешённые адреса страниц. Схема такая:

User-agent: Yandex
Allow: /2010/09/12/welcome-to-this-site/
Disallow: /2010/

Сейчас проверил в http://webmaster.yandex.ru/robots.xml работает. Но я и раньше так делал, когда была схожая проблема для нескольких десятков адресов статей.

Придумал сделать похитрее, примерно вот так:

Disallow: */01/$

Disallow: */02/$

Disallow: */03/$

Disallow: */04/$

Disallow: */05/$

Disallow: */06/$

Disallow: */07/$

Disallow: */08/$

Disallow: */09/$

Disallow: */10/$

Disallow: */11/$

Disallow: */12/$

Disallow: */13/$

Disallow: */14/$

Disallow: */15/$

Disallow: */16/$

Disallow: */17/$

Disallow: */18/$

Disallow: */19/$

Disallow: */20/$

Disallow: */21/$

Disallow: */22/$

Disallow: */23/$

Disallow: */24/$

Disallow: */25/$

Disallow: */26/$

Disallow: */27/$

Disallow: */28/$

Disallow: */29/$

Disallow: */30/$

Disallow: */31/$

Disallow: */01/01/$

Disallow: */02/02/$

Disallow: */03/03/$

Disallow: */04/04/$

Disallow: */05/05/$

Disallow: */06/06/$

Disallow: */07/07/$

Disallow: */08/08/$

Disallow: */09/09/$

Disallow: */10/10/$

Disallow: */11/11/$

Disallow: */12/12/$

Maxsmart
На сайте с 19.02.2011
Offline
3
#3

ТС, а не проще ли в настройках вордпресс покопаться и сделать, ссылки вот такого вида: http://site.ru/welcome-to-this-site/?

Там, такая возможность есть...

Мой блог участвует в конкурсе: Продвижение неизбежно (http://seodemo.ru/prodvizhenie-neizbezhno.html/)
S
На сайте с 17.12.2008
Offline
300
#4
Maxsmart:
ТС, а не проще ли в настройках вордпресс покопаться и сделать, ссылки вот такого вида: http://site.ru/welcome-to-this-site/?

Там, такая возможность есть...

Проще, но сайту уже три года.

Malcolm
На сайте с 02.05.2007
Offline
119
#5

Для WordPress проще поставить Meta Robots и запретить в настройках индексацию архивов

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий