Форум Поисковые системы Google

Гуглу плевать на robots.txt?

123
fine
На сайте с 01.12.2005
Offline
151
fine
#11

Такая же ерунда. :(

Maxoud:
Более, чем уверен, они были проиндексированы до создания robots.txt

У меня проиндексированы после создания robots.txt точно.

SW
На сайте с 06.04.2007
Offline
31
SFW
#12
name-k:
На практике заметил, что недостаточно закрывать только в роботсе, нужно обязательно ставить нофоллов в ссылки на закрытые в роботсе страницы.

есть опыт что и на это ему тоже плевать - все равно жрет и фильтрует если там что не так

name-k
На сайте с 05.02.2010
Offline
57
name-k
#13
Maxoud:

Мой совет — забыть про robots.txt навсегда и использовать .htaccess.

Смешно не использовать прямой инструмент вебмастера по предназначению, я имею ввиду роботс.

Поясните пожалуйста как именно используете .htaccess?

Если не ставить nofollow на закрытые в роботсе страницы то робот будет переходить на такие страницы но не будет индексировать. У робота стоит лимит на время сканирования сайта и количество загруженных страниц за один сеанс. Выходит переходя на закрытые в роботс страницы вы попросту ухудшаете индексацию сайта, скармливая ему ненужные страницы вместо нужных.

Куплю украинские аккаунты AdSense. Стучитесь в ЛС.
Google обновил лимиты на Апдейты Google могут влиять Джон Мюллер: Google не
A
На сайте с 11.11.2009
Offline
6
alexmay
#14

Идёшь сюда: http://www.google.com/support/webmasters/bin/answer.py?answer=35237

и просишь гугл прочекать робот.тхт, а потом делаешь выводы.

M
На сайте с 27.10.2006
Offline
111
Maxoud
#15
fine:
У меня проиндексированы после создания robots.txt точно.

Еще один аргумент против robots.txt

lekoleko:
Приведите пример пожалуйста. Вот например у меня в индексе тысячи мусорных страниц типа сайт.ru/index2.php?option=com_content&бла-бла-бла

Мусорные страницы — это мусорные страницы. Regex в помощь и 301 на полезные. Или 404: груз с плеч долой и не будет нытья.

name-k:
Если не ставить nofollow на закрытые в роботсе страницы то робот будет переходить на такие страницы но не будет индексировать

А для чего такие страницы нужны, которые индексировать не нужно? Тэги в Вордпрессе? Так научитесь с выгодой их использовать. Дубликаты в OSCommerce? Взяли Magento + 2 плагина.

Бесплатное хранилище данных (http://bit.ly/gJYy9Z) (5GB) с синхронизацией. По ссылке — бонус 500MB.
Google: как ускорить удаление Как попасть в топ-10 Кнопка +1 стала еще
fine
На сайте с 01.12.2005
Offline
151
fine
#16

alexmay, и какой вывод можно сделать из того, что в панели вебмастера к страницам написано, что они исключены, а в индексе они присутствуют?

M
На сайте с 27.10.2006
Offline
111
Maxoud
#17
fine:
alexmay, и какой вывод можно сделать из того, что в панели вебмастера к страницам написано, что они исключены, а в индексе они присутствуют?

Хоть вопрос и не ко мне, я все же ляпну. Вывод один: делать нормальный сайт изначально и не знать про эту панель. Чтобы не было необходимости думать что где-то что-то не так, что-то выпало, что-то не индексируется, иконка потерялась в панельке, сопли, ПыР, мета кивордс ( :) ), сайтмап, роботс. Блин, жизнь пройдет за панельками, а сайт так в говне и останется.

Передача домена панелькой. Проблемный знак = в Plesk + обновление ПО
[Удален]
#18

Maxoud, allintitle а не intitle

M
На сайте с 27.10.2006
Offline
111
Maxoud
#19
Stello:
Maxoud, allintitle а не intitle

Вы с кавычками в ссоре или клавиша запала?

fine
На сайте с 01.12.2005
Offline
151
fine
#20
Maxoud:
Хоть вопрос и не ко мне, я все же ляпну. Вывод один: делать нормальный сайт изначально и не знать про эту панель.

Сайт на Drupal - нормальный сайт? :)

Какой смысл не пользоваться тем, что гугл сам предлагает использовать и даже объясняет, как это делать? И сам к тому же использует (http://www.google.com/robots.txt).

P.S. А про панель речи и не шло, это советчики посоветовали уже туда идти. :) Представьте, что мы туда и не смотрим. :)

А не нарушает ли Нюансы заключения договоров на палю жирную ссылку:
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий