Индексация динамических страниц

P
На сайте с 17.11.2003
Offline
0
769

Добрый день!

Очень нужна консультация по индексированию динамических страниц поисковиками. На Рамблере есть информация, что он обрабатывает все "динамические" страницы с именами вида *.asp*, *.php*, *.pl*, */cgi-bin/* и т. п. для посещаемых

сайтов (по данным top100), а также сайтов, содержащих уникальную информацию, полезную пользователям поисковой машины. Хотя на страницах такого расширения нигде нет, значки в ссылке типа ? и = все-таки присутствуют. А это, насколько я поняла, тоже влияет на "нежелание" индексировать страницу.

Есть сильное подозрение, что Яндексу не нравится, что одна и та же страница появляется в нескольких местах (для удобства пользователей). Совершенно точно знаю, что когда весной пробовала делать то же самое на другом движке и страница появлялась только под одним урлом, с индексацией все было прекрасно. Поэтому, видимо, единственный вариант - запретить индексацию страниц-клонов.

http://www.prlink.ru/events/page1/?view=1

http://www.prlink.ru/events/exhibition/page1/?view=1

http://www.prlink.ru/events/exhibition/2003/11/7/

Не могли бы уважаемые завсегдатаи форума подсказать, что нужно прописать в файле robots.txt, чтобы запретить индексацию всех страниц в разделе /events/ кроме страниц с датами типа

http://www.prlink.ru/events/2003/11/4/page1/?view=1 (единственный вариант, при котором ссылка остается постоянной и уже не меняется при добавлении новой информации)

И еще один вопрос - до кучи. Яндекс ооочень странно приводит посетителей на сайт - например, по запросу "статьи" приходит десяток человек, а по запросу PR (связи с общественностью, а не ТИЦ, ИЦ и т.д.), который является релевантным содержанию сайта - 1-2 человека. Создается такое ощущение, что при упоминании слова в ключевых словах и словосочетаниях больше одного раза Яндекс воспрнимает это как спам, хотя я где-то читала, что упоминание не более 3-х раз в разных словосочетаниях вполне допустимо.

Прошу прощения за столь пространный запрос - очень надеюсь на то, что вы поделитесь своим бесценным опытом с новичком в продвижении сайтов.

ER
На сайте с 19.11.2002
Offline
107
#1
что нужно прописать в файле robots.txt, чтобы запретить индексацию всех страниц в разделе /events/ кроме...

Вот все эти страницы или каталоги и прописать, например

User-agent: *
Disallow: /events/page1
Disallow: /events/exhibition
P
На сайте с 17.11.2003
Offline
0
#2

Спасибо за ответ!

Disallow: /events/page1

я правильно поняла, что придется под каждую вновь появляющуюся страницу писать новый запрет на индексацию? типа

/events/page1

/events/page2

/events/page3

ER
На сайте с 19.11.2002
Offline
107
#3

Ну да, придётся, если под каждую страницу такие папки делаются... вообще это не метод, конечно. Надо либо движок сайта переписывать с учетом правила "одна страница - один url", что лучше всего, либо закрывать страницы от индексации как-либо по другому. Только сегодня обсуждали -

Ace
На сайте с 07.07.2003
Offline
119
Ace
#4

а сам .htaccess закрывать ненужные варианты разве не умеет? (могу ошибаться)

UaMaster - 10 лет опыта в онлайн-продвижении в России (http://uamaster.ru) и Украине (http://uamaster.com). Интернет-агентство №1 по уровню удовлетворенности клиентов в Украине. Ведение рекламы в Яндекс.Директ без комиссии.
P
На сайте с 17.11.2003
Offline
0
#5

.htaccess-то может и умеет - я не умею

...а тут еще выяснила, что у меня на сайте сильно намудрено с редиректами, в результате чего все php страницы (а их на сайте огромное количество) вообще не индексируется - так что придется, видимо, искать какое-то более глобальное решение

ER
На сайте с 19.11.2002
Offline
107
#6

Понятно, случай запущенный. Тут, по-моему, требуется уже хирургическое вмешательство - не robots.txt переписывать надо, а движок сайта. В долгосрочной переспективе это выгоднее.

P
На сайте с 17.11.2003
Offline
0
#7

Спасибо, утешили :(

Я и сама знаю, что проблем больше, чем хотелось бы, но второй раз все заново переделывать оооочень не хочется. Вот и пыталась выяснить, может, удастся малой кровью отделаться...

Дооообрые! а еще обещали новичков не обижать...

wolf
На сайте с 13.03.2001
Offline
1183
#8
Дооообрые! а еще обещали новичков не обижать...

Лучше горькая, но правда, чем приятная, но ложь. :)

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий