Все вопросы по robots.txt

trwiz
На сайте с 26.05.2007
Offline
164
#81
SeVlad:
А кто тебе сказал, что якорь попадает в индекс?

попадает еще как, сталкивался с такой же проблемой, через роботс она не закроется, поисковик будет думаться что ты закрывешь весь сайт, в итоге прописали тег canonical для таких страниц

---------- Добавлено 04.02.2014 в 12:50 ----------

кстати вспомнил еще один нюанс - яндекс воспринимал решетку как другой символ , т.е. в выдаче он рисует решетку но при переходе менял ее на типа ***35; - хотя в урле была обычная решетка

SeVlad
На сайте с 03.11.2008
Offline
1609
#82
trwiz:
попадает еще как

доказательства в студию.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
[Удален]
#83
как запретить в Robots.txt индексацию страниц с решеткой в конце?

Никак. Откажитесь от решеток.

trwiz
На сайте с 26.05.2007
Offline
164
#84
SeVlad:
доказательства в студию.

свой не скину, на чужих искать лень

SeVlad
На сайте с 03.11.2008
Offline
1609
#85
trwiz:
свой не скину, на чужих искать лень

Я так и думал :)

Сеошиники такие сеошники

O0
На сайте с 28.12.2012
Offline
51
#86
webser:
А для чего собственно вы используете данный мета тег? если вам нужно закрыть сайт от веб архива просто в
robots.txt пропишыте :
User-agent: ia_archiver
Disallow: /

Сайт клиента, он понятия не имеет откуда этот тег на сайта. Вопрос в следующем, может ли он негативно влиять на ранжирование сайта в целом?

alexspb
На сайте с 14.11.2005
Offline
187
#87
oz0n3:
может ли он негативно влиять на ранжирование сайта в целом?

oz0n3, документацию надо читать, однако...

В ней узнаете, что этот тэг запрещает индексировать страницу конкретному роботу, и других не касается.

Но он ее загрузит все-равно, если в роботсе не будет

User-agent: ia_archiver

Disallow: /

trwiz
На сайте с 26.05.2007
Offline
164
#88
SeVlad:
Я так и думал :)
Сеошиники такие сеошники

теоретики такие теоретики...

решетка используется не только для навигации внутри документа но и например в фильтрах товаров, работающих на ява скрипте, которые подгружают контент без перезагрузки страницы, некоторые чудики ставят ссылки на такие страницы, например на форумах, и они вполне себе успешно индексируются. проблема решается использованием тега каноникал, у меня по крайней мере выпали такие страницы из индекса

trwiz
На сайте с 26.05.2007
Offline
164
#89
Vitos87:
Я хочу исключить страницы с решеткой (запись/#more-21 и запись/#comments), теги, страницы навигации с главной и рубрик (/page/2/ и т.д). Сайт на вордпрессе (если имеет значение).
Будет ли робтс, который ниже, правильным или нужно прописывать отдельно по ПС все расписывать?

User-agent: Yandex
Disallow:
HOST: site.ru

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /#*
Disallow: /*?dem
Disallow: /tag
Disallow: /page
Disallow: /wp-includes/wlwmanifest.xml
Disallow: /xmlrpc.php?rsd

Disallow: /#* - так вы закроете весь сайт от индексации

богоносец
На сайте с 30.01.2007
Offline
753
#90

Вообще-то # в роботс.тхт используется для комментирования.

trwiz:
вспомнил еще один нюанс - яндекс воспринимал решетку как другой символ

Только наоборот: сервак вместо # отдаёт %23, а в выдаче рисуется #

А по поводу #! http://www.google.com/search?q=inurl:hash+site:forum.searchengines.ru

это вредные выдумки ПС про индексацию AJAX

В ссылке из выдачи (у избранных) иногда бывает именно # без %23 /ru/forum/comment/12572691 но попробуйте найти его в урле http://yandex.ru/yandsearch?text=inurl%3Adate-and-time-functions.html%23function_date

ищется только без текста якоря http://yandex.ru/yandsearch?text=inurl%3Arefman%2F5.6%2Fen%2Fdate-and-time-functions.html

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий