Я к тому, что робот получает ответ:
HTTP/1.1 302 Found
Date: Tue, 19 Apr 2011 10:19:05 GMT
Server: Apache/2.2.9 (Debian) mod_python/3.3.1 Python/2.5.2 mod_ssl/2.2.9 OpenSSL/0.9.8g mod_perl/2.0.4 Perl/v5.10.0
Location: тут ссылка которую прятали
Content-Length: 0
Connection: close
Content-Type: text/html; charset=UTF-8
Не проходят ли они по таким ссылкам?
krava0303, вы еще читаете тему? если да, прошу и мне кинуть. премного благодарен.
будьте добры ссылочку на выдачу. очень интересно. заранее благодарен.
Если никто не против, подведу итоги темы.
тег noindex рекомендован только яндексом.
nofollow ссылки гугл в индекс не берет, но пиар судя по всему перетекает.
метатег noindex запрещает к индексации всю страницу, но при наличии внешних ссылок все равно может попасть в индекс, по крайней мере тайтл и ссылка в выдачу.
что такое метатег nofollow понятия не имею.
единственный 100% способ запретить индексацию - htaccess.
quicksilver_j, ставить rel="nofollow" и окружать ссылку <noindex> стоит в том случае если это чисто рекламная ссылка. причем все ПС в один голос рекомендуют это делать, если боитесь, что ссылку посчитают купленной.
То же самое? если бы не прошло два дня, сказал бы кэш провайдера...
leobat, я имел ввиду воспользоваться формой типа:
<form action="?" method="post">
<table><caption>Открываем сайт представлясь под любым User-Agent</caption>
<tr><td>User-Agent</td><td><input type="text" size="40" name="ua" value="GoogleBot"></td></tr>
<tr><td>Host</td><td><input type="text" size="40" name="host" value="www.site.ru"></td></tr>
<tr><td>GET</td><td><input type="text" size="40" name="get" value="/index.php"></td></tr>
<tr><td> </td><td><input type="submit" value='Отправить'></td></tr>
</table>
</form>
если картинка недоступна боту, то и в полученном коде страницы это будет видно.
В гугл-вебмастерс есть функция "Просмотреть как Googlebot", в принципе тоже самое, только в форме вы можете назваться как угодно и посмотреть глазами любого робота.
cheredov добавил 10.04.2011 в 17:04
Извиняюсь, думал искренне, что даже начинающие заниматься продвижением обязательно перерыли вебмастера гугла и яндекса, там, как верно сказал Kost есть такие сервисы- посмотреть как бот. я предложил форму которой пользуюсь сам, кажется она удобней.
cheredov добавил 10.04.2011 в 17:21
hasugosu, роботы картинки видят, а как закрыли от индексации директорию?
cheredov добавил 10.04.2011 в 21:46
В общем, отвечая на ваш первый вопрос:
ПС могут индексировать картинки если раздел с ними закрыт в robots.txt, т.к. robots.txt не является обязательным к исполнению. Если надо запретить, делайте это либо noindex'ом либо в htaccess.
В этой ветке тема обсуждалась, поищите тему "точка в title"
Очевидно нет. Попробуйте зайти на страницу как робот и посмотреть что на месте картинки.
и апдейт у нее каждый день )))))))
по данным liveinternet доли переходов с поисковых систем за март 2011 г.:
Яндекс 54.4%
Rambler 1.2%
вывод за вами )))
насчет сайтаудитора - там же галочка отдельно рамблер, отдельно яша по запросам, ставьте галочку яндекс и не парьтесь.
см. так же wordstat от яши для проверки частоты запросов.
или еще на нескольких форумах такой же пост с ссылкой )))
