Vitos87: Я хочу исключить страницы с решеткой (запись/#more-21 и запись/#comments), теги, страницы навигации с главной и рубрик (/page/2/ и т.д). Сайт на вордпрессе (если имеет значение).
Будет ли робтс, который ниже, правильным или нужно прописывать отдельно по ПС все расписывать?
решетка используется не только для навигации внутри документа но и например в фильтрах товаров, работающих на ява скрипте, которые подгружают контент без перезагрузки страницы, некоторые чудики ставят ссылки на такие страницы, например на форумах, и они вполне себе успешно индексируются. проблема решается использованием тега каноникал, у меня по крайней мере выпали такие страницы из индекса
SeVlad: А кто тебе сказал, что якорь попадает в индекс?
попадает еще как, сталкивался с такой же проблемой, через роботс она не закроется, поисковик будет думаться что ты закрывешь весь сайт, в итоге прописали тег canonical для таких страниц
---------- Добавлено 04.02.2014 в 12:50 ----------
кстати вспомнил еще один нюанс - яндекс воспринимал решетку как другой символ , т.е. в выдаче он рисует решетку но при переходе менял ее на типа ***35; - хотя в урле была обычная решетка
есть хорошая платная, бесплатные вы вряд ли найдете, ahrefs.com
Я хочу исключить страницы с решеткой (запись/#more-21 и запись/#comments), теги, страницы навигации с главной и рубрик (/page/2/ и т.д). Сайт на вордпрессе (если имеет значение).
Будет ли робтс, который ниже, правильным или нужно прописывать отдельно по ПС все расписывать?
User-agent: Yandex
Disallow:
HOST: site.ru
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /#*
Disallow: /*?dem
Disallow: /tag
Disallow: /page
Disallow: /wp-includes/wlwmanifest.xml
Disallow: /xmlrpc.php?rsd
Disallow: /#* - так вы закроете весь сайт от индексации
Я так и думал :)
Сеошиники такие сеошники
теоретики такие теоретики...
решетка используется не только для навигации внутри документа но и например в фильтрах товаров, работающих на ява скрипте, которые подгружают контент без перезагрузки страницы, некоторые чудики ставят ссылки на такие страницы, например на форумах, и они вполне себе успешно индексируются. проблема решается использованием тега каноникал, у меня по крайней мере выпали такие страницы из индекса
ну если можно сквозь дома пролазить то вот
вот облом )))
доказательства в студию.
свой не скину, на чужих искать лень
А кто тебе сказал, что якорь попадает в индекс?
попадает еще как, сталкивался с такой же проблемой, через роботс она не закроется, поисковик будет думаться что ты закрывешь весь сайт, в итоге прописали тег canonical для таких страниц
---------- Добавлено 04.02.2014 в 12:50 ----------
кстати вспомнил еще один нюанс - яндекс воспринимал решетку как другой символ , т.е. в выдаче он рисует решетку но при переходе менял ее на типа ***35; - хотя в урле была обычная решетка
если бы не работало ссылочное, в выдаче был бы полный хаос =)
trwiz, круто ну и цены. Наш проезд прямо смешен. Интересно, сколько там получают.
эмигранты не много =)