Как запретить яндексу индексацию сайта кроме главной страницы?

[Удален]
643

Вообщем САБЖ, но требуется именно разрешить индексацию главной не sait.ru/index.html, а именно sait.ru/ и www.sait.ru/ , а остальные страницы запретить к индексации через robots.txt.

То есть сделать, чтобы кроме главной страницы Яша дальше не гулял по сайту :smoke:

P.S. Решение типа перечислить все страницы и каталоги не подойдёт.

wolf
На сайте с 13.03.2001
Offline
1183
#1

http://help.yandex.ru/webmaster/?id=996567

По логике должно сработать что-то вроде:

User-agent: Yandex

Allow: /$

Disallow: /

Но слишком уж хитрая комбинация получается. Как её проинтерпретирует робот, надо смотреть на практике.

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
[Удален]
#2
wolf:
http://help.yandex.ru/webmaster/?id=996567

По логике должно сработать что-то вроде:

User-agent: Yandex
Allow: /$
Disallow: /


Но слишком уж хитрая комбинация получается. Как её проинтерпретирует робот, надо смотреть на практике.

Хм.. По идее должно сработать, но комбинация действительно хитрая.

Попробую лучше для начала на каком-нибудь сателлите :)

N
На сайте с 23.01.2008
Offline
74
#3

в яндексе и гугле есть фишка, где все это можно сразу попробовать.

Dmitry V___v
На сайте с 07.12.2006
Offline
310
#4
metr0:
Вообщем САБЖ, но требуется именно разрешить индексацию главной не sait.ru/index.html, а именно sait.ru/ и www.sait.ru/ , а остальные страницы запретить к индексации через robots.txt.
То есть сделать, чтобы кроме главной страницы Яша дальше не гулял по сайту 🚬
P.S. Решение типа перечислить все страницы и каталоги не подойдёт.

месье воинствующий эстет? Месье знает толк в извращениях? :)

Чем плох вариант sait.ru/index.html?

Мудрозадая конструкция, предложенная уважаемым Сергеем имеет свойство неопределенности. :)

В прочем, Панель вебмастера, вкладка "анализ robots.txt" спасут отца русской демократии :)

Создание и ведение кампаний Google/Bing/Twitter/FB Ads под USA, Canada, United Kingdom and Australia ( https://searchengines.guru/ru/forum/1028286 ) + жирный линкбилдинг под бурж ( https://searchengines.guru/ru/forum/1028282 )
orphelin
На сайте с 02.07.2006
Offline
261
#5
Pall:
В прочем, Панель вебмастера, вкладка "анализ robots.txt" спасут отца русской демократии

не особо-то она работает на практике. не так давно хотел удалить урл у сайта, так по этой проверке показывало что урл запрещен к индексации, а на деле урл не удалял их "Удалить URL", пришлось звонить Платону :)

Dmitry V___v
На сайте с 07.12.2006
Offline
310
#6
orphelin:
не особо-то она работает на практике. не так давно хотел удалить урл у сайта, так по этой проверке показывало что урл запрещен к индексации, а на деле урл не удалял их "Удалить URL", пришлось звонить Платону :)

Вы просто не дождались правильной реакции автоматики ;)

S
На сайте с 03.06.2005
Offline
133
#7

закройте все ссылки на заглавной тэгами noindex для яндекса и поставть nofollow для гугла.

Если подстраницы начинаются с одной буквы то можно использовать robots.txt

вышеописанная конструкция с allow является нестандартной, а ко всему прочему регулярные выражения типа конца строки $ делают ее нестандартной вдвойне.

K
На сайте с 31.01.2001
Offline
737
#8
surfer:
вышеописанная конструкция с allow является нестандартной, а ко всему прочему регулярные выражения типа конца строки $ делают ее нестандартной вдвойне.

Если вы заметили, указан конкретный User-agent, в Яндексе (а также в Google и Yahoo) все эти расширения документированы.

А предлагаемое вами "закрытие" ссылок, особенно через nofollow, никак не может помешать индексации страниц, на которые они ведут.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Alyzer
На сайте с 26.06.2008
Offline
55
#9
orphelin:
пришлось звонить Платону :)

Платоны открыли горячую линию? 😆

И рекламу по телеку пустили типа "Ваш говносайт выпал? Вы хотите узнать какие санкции были наложены на ваш сайт? Хотите спросить про ВИСТ/ТРАСТ но не знаете у кого? Позвоните Платонам!"

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий