как проверить запрещена ли страница для роботов

12
T
На сайте с 18.11.2002
Offline
21
1427

какими способами кроме просмотра мета-тегов и поиска роботс.тхт можно проверить - индексируется ли страница поисковиками? наверное это гдето уже ранее обсуждалось, но мне найти не удалось :confused:

А Вы говорите...
Netsah
На сайте с 21.11.2003
Offline
158
#1

Если в google, то набери allinurl:www.your.site - увидишь все страницы, которые в индексе.

Детям - мороженое, женщинам - цветы.
K
На сайте с 23.12.2003
Offline
48
#3

или просто в поле для поиска введи url страницы и если твоя страница была проиндексирована, то google найдет ее, если нет то будет надпись, что страница не найдена

wolf
На сайте с 13.03.2001
Offline
1183
#4
введи url страницы и если твоя страница была проиндексирована, то google найдет ее, если нет то будет надпись, что страница не найдена

Если страницы нет в базе поисковика, то это еще не значит, что она запрещена к индексированию.

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
Каширин
На сайте с 03.01.2004
Offline
1011
#5

можно и так

T
На сайте с 18.11.2002
Offline
21
#6

прошу прощения,я неправильно сформулировала свой вопрос...

я имела ввиду - проверить конкретную страницу чужого сайта - закрыта ли она для роботов. например если на этой странице размещена ссылка на мой сайт. закрывают же страницы с набором линков.

если страница не найдена одним из способов. указанных выше это же не означает что владелец сайта ее принудительно запретил, возможно робот по каким-то другим причинам до нее не добирается?

TT
На сайте с 29.02.2004
Offline
107
TCT
#7

проверьте код страницы. какие там стоят указания для робота в <META NAME="robots">, есть ли тег <noindex>

NL
На сайте с 29.01.2003
Offline
212
#8
какими способами кроме просмотра мета-тегов и поиска роботс.тхт можно проверить - индексируется ли страница поисковиками?

Tanys, т.е. на Ваш проект поставили ссылку с ОЧЕНЬ вкусной страницы, а в перечне ссылающихся страниц Яндекса она не появилась - так что ли? У меня была такая ситуация - мне в этом случае пришлось полгода ждать пока Яндекс захотел переиндексировать страницу чужого сайта с ссылками на меня (за это время понаделал на народе кучу сайтов с ссылками эту страницу с линками, помогло ли - не знаю =)

Возможны еще варианты с клоакингом, но проверить Вы сможете только случай клоакинга по User-Agent`у - для этого можно перенастоить это поле в Reget`е или в Телепорте, случай клоакинга по IP скорее всего проверить не удасться.

T
На сайте с 18.11.2002
Offline
21
#9

NULL, в конкретном случае хотят поставить, точнее - обменяться. Я же прежде чем давать от ворот поворот или соглашаться хочу посмотреть на вероятный запрет страницы. где будет размещена ссылка на меня

Каширин
На сайте с 03.01.2004
Offline
1011
#10

1. Если индексация закрыта клоакингом - вы это не проверите, так как клоакинг не строят только по юзерагенту, всегда в сочетании с айпи.

2. Проверьте роботс.тхт и код страницы - метатеги и теги ноуиндекс, если.

3. Скормите поисковику страницу со ссылками, где хотят вас разместить, посмотрите что он скажет.

4. Если оснований для подозрений не появилось - меняйтесь. Не бычка же вы продаете, в конце концов, в чем риск-то?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий