Обучить robot.txt

123
overnight
На сайте с 23.05.2008
Offline
262
#11
KansayTLisir:
в таком случае, должна быть директива, которая попросит при этом не убирать робота...

Вы для ускорения индексации страниц не тот инструмент выбрали. Лучше сделать sitemap или проставить ссылок с часто обновляющихся сайтов. Ну и ещё миллион способов есть.

K
На сайте с 31.01.2001
Offline
737
#12
DyaDya:
Disallow: /*ph_agree*
Allow: /

Непонятно, где тут противоречие. Не вижу ничего нелогичного.

Если напишете сначала

Allow: /

то потом можно уже ничего не писать, все разрешено. Все по мануалу, именно так и должно быть.

Точно также, если напишите первой директивой

Disallow: /

то потом можно не пытаться писать никаких Allow, они не будут работать.

В двух соснах трудно заблудиться, и я не понял, как вам это удалось.

Кстати, писать звездочку в конце строки не нужно, она там и так всегда подразумевается, отродясь, с 1994 года (any URL that starts with this value will not be retrieved.).

KansayTLisir:
в таком случае, должна быть директива, которая попросит при этом не убирать робота то, что он уже успел проиндексировать

Ваши фантазии похвальны, но по стандарту должно быть все четко: или запрет индексации есть, или его нет.

Действительно, загоните ваши 40 страниц в Sitemap, сделайте нормальную навигацию, чтобы до них можно было легко дойти от главной страницы.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
DyaDya
На сайте с 11.04.2007
Offline
147
#13
Kost:
В двух соснах трудно заблудиться, и я не понял, как вам это удалось.

Да, с моей логикой расходится чуток). Привык, что следующие директивы, обычно, перебивают предыдущие. А у яшки, кто раньше, тот король горы и никак его уже не переопределить.

Выбирайте качественный хостинг (http://vashmaster.ru/informaciya/o_poleznyh_programmah/news83.php) и продвигайте сайты в СЕОПУЛЬТ (http://seopult.ru/ref.php?ref=72b5ed9561fe66a1). А на «SAPE» я в обиде :) Не упрекайте за очепятки, пишу вслепую (http://ergosolo.ru/) и также делаю сайты (http://www.vashmaster.ru/) ;)
KT
На сайте с 29.07.2010
Offline
5
#14

overnight, сайтмэп, не эффективно поможет в данном случае и покупка ссылок, занимает время + халявное продвижение, а я желаю продвигать хоть и вручную (за счет оптимизации - опыт есть), но качественно. Тем более ссылки скоро потеряют актуальность, про это писал яндекс, когда отправил меня на одну из их странице в результате обращения к ним по вопросу, который не имеет отношения к данной теме.

DyaDya
На сайте с 11.04.2007
Offline
147
#15
overnight:
Вы для ускорения индексации страниц не тот инструмент выбрали.

Почему не тот? Закрыть индексацию ненужных страниц - отличный ход. Другое дело, а ненужные ли они?

K
На сайте с 31.01.2001
Offline
737
#16
DyaDya:
Привык, что следующие директивы, обычно, перебивают предыдущие. А у яшки, кто раньше, тот король горы и никак его уже не переопределить.

У гугла точно также. Было бы странно, если бы было по-разному.

S
На сайте с 24.11.2008
Offline
26
#17
KansayTLisir:
, в таком случае, должна быть директива, которая попросит при этом не убирать робота то, что он уже успел проиндексировать так, как моя цель убрать с индекса все страницы, кроме некоторых - это временная нужда направленная на акцентирование внимания относительно яндекс.робота на определенные страницы, которые будут по приоритету при последующем заходе робота индексировать то, что добавлено в Allow, но не для запрета на показ страниц в целом - мы не прячем от людей контент.

так что вы хотите? убрать из индекса страницы или увеличить вес других страниц? задачи разные по исполнению

В первой, несомненно, роботс - пишите и проверяйте в вебмастере, во второй, можно быстроиндексируемые ссылки типа блогуна, перелинковку и тд

KT
На сайте с 29.07.2010
Offline
5
#18

Kost, В итоге, нужно как на странице яндекса написанно (http://help.yandex.ru/webmaster/?id=996567#996571) и считать её актуальной или же все-таки то, что из ответил один из платонов DyaDya-е?

overnight
На сайте с 23.05.2008
Offline
262
#19
KansayTLisir:
overnight, сайтмэп, не эффективно поможет в данном случае и покупка ссылок, занимает время + халявное продвижение, а я желаю продвигать хоть и вручную (за счет оптимизации - опыт есть), но качественно.

Если Вы добавите нормальный saitmap, то все страницы гарантированно попадут в распоряжение Яндекса, вне зависимости от навигации на сайте. Другой вопрос, что это не гарантия попадания их в индекс.

Если Вы поставите ссылки с главной, как рекомендовал Kost, то робот при заходе на сайт скорее всего их посетит и вес этих страниц относительно других повысится. (Чаще всего главная страница на сайте весомая.)

Если Вы поставите ссылку на страницу с популярного новостного сайта, то через очень короткое время (часы, а то и минуты) Ваши страницы посетит быстроробот. Что тоже может способствовать быстрой индексации.

Если Вы закроете от индексации все страницы кроме непроиндексированных, то у Вас весь сайт вывалится из индекса.

KansayTLisir:
Тем более ссылки скоро потеряют актуальность, про это писал яндекс, когда отправил меня на одну из их странице в результате обращения к ним по вопросу, который не имеет отношения к данной теме.

Интернет — это гипертекстовая среда, гипертекст — это прежде всего связи, ссылки, именно они определяют иерархию. Когда ссылки потеряют актуальность — интернета не будет.

S
На сайте с 24.11.2008
Offline
26
#20
KansayTLisir:
Тем более ссылки скоро потеряют актуальность, про это писал яндекс, когда отправил меня на одну из их страниц

это как? дайте ссылку, пожалуйста.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий