Пока что не хочу добавлять его в вебмастер, ибо контент не весь добавлен.
mlsha: ну так вот...
User-Agent: *
Allow: /
Disallow: мой_сайт/рубрика1/*
Disallow: мой_сайт/рубрика2/*
...
Disallow: мой_сайт/рубрика12545848484/*
индексируем всё, кроме кроме того, что лежит в рубриках...
для всех роботов без исключения, у директив Disallow на конце можно не писать *, она по умолчанию подразумевается...
http://help.yandex.ru/webmaster/?id=996567 - вот это например почитайте
Это я уже читал, и другие статьи по роботс. То есть единственный вариант это прописать 12545848484 строчек в роботс?
---------- Добавлено 09.02.2012 в 12:06 ----------
golf4man: Ребят а мне не подскажите с сайтом http://pogoda-priroda.ru/?
Из индекса пропали около 20 страниц, в чем может быть причина?Одинаковые title?Контент-уникальный...
Судя по проиндексированным 15 страницам, ваш сайт попал под АГС.
У меня почти на каждом сайте, где главная постоянно меняется, есть около 500 символов текста (по теме главной страницы), которые не меняются. Если блог, то можно в виджетах его сделать. Типа описания сайта "На нашем сайте вы найдёте "ключевик" бла бла бла "ключевик 2" бла бла бла" и т.д. Отображается это только на главной.
Nadejda: - нельзя, будет другая страница ревалентная, и опять не главная
А почему? Ведь всё вертится именно вокруг главной и "другой", как описал ТС. Если не будет другой, то логично, что будет главная... разве нет? Зачем яндексу искать еще одну "другую", но не главную?
немного перевел wmr
добавьте сайт в Яндекс Вебмастер и встроенным инструментарием протестируйте все свои предположения:
http://webmaster.yandex.ru/site/robots.xml
Пока что не хочу добавлять его в вебмастер, ибо контент не весь добавлен.
ну так вот...
User-Agent: *
Allow: /
Disallow: мой_сайт/рубрика1/*
Disallow: мой_сайт/рубрика2/*
...
Disallow: мой_сайт/рубрика12545848484/*
индексируем всё, кроме кроме того, что лежит в рубриках...
для всех роботов без исключения, у директив Disallow на конце можно не писать *, она по умолчанию подразумевается...
http://help.yandex.ru/webmaster/?id=996567 - вот это например почитайте
Это я уже читал, и другие статьи по роботс. То есть единственный вариант это прописать 12545848484 строчек в роботс?
---------- Добавлено 09.02.2012 в 12:06 ----------
Нашел решение:
Disallow: /*/*.html
а такого вида прячет и материалы и рубрики:
Disallow: /*/*
C чего бы?Неужели робот Яндекса и содержимое все просканировал и понял, что не для людей, хотя, что не для людей - тут спорный вопрос.
Ну если для людей, тогда подождите следующий ап, возможно яндекс глюканул, бывает. Если нет, пишите платонам.
Ребят а мне не подскажите с сайтом http://pogoda-priroda.ru/?
Из индекса пропали около 20 страниц, в чем может быть причина?Одинаковые title?Контент-уникальный...
Судя по проиндексированным 15 страницам, ваш сайт попал под АГС.
Никто не знает, но возможно статьи, которые уже были однажды проиндексированы, уже не являются для яндекса уникальными.
Я иногда разбавляю качественный контент с некачественным, и по моему опыту проблем, не было, но всё равно это не есть хорошо и это уже не СДЛ.
Примерно на 5 площадках +10, на одной -10. Хороший ап
У меня почти на каждом сайте, где главная постоянно меняется, есть около 500 символов текста (по теме главной страницы), которые не меняются. Если блог, то можно в виджетах его сделать. Типа описания сайта "На нашем сайте вы найдёте "ключевик" бла бла бла "ключевик 2" бла бла бла" и т.д. Отображается это только на главной.
- нельзя, будет другая страница ревалентная, и опять не главная
А почему? Ведь всё вертится именно вокруг главной и "другой", как описал ТС. Если не будет другой, то логично, что будет главная... разве нет? Зачем яндексу искать еще одну "другую", но не главную?
медицина, психология, литература ещё можно, а вот "география" будет проблематично логично пристроить в один
Тогда просто "Познавательный портал" :)
Или сделать один большой и один про географию.
Я бы разместил 3 статьи:
статья 1 - "слово 1 слово 2"
статья 2 - "слово 3 слово 1"
статья 3 - "слово 2 слово 4" (можно додумать)