Форум Поисковые системы Google

Эффективность сайта в инструментах вебмстера.

12
Willie
На сайте с 08.10.2008
Offline
200
Willie
#11
sirota77:
А это уже клоакинг, со всеми вытекающими.

Но он этого дождется! Представьте: есть такая форма, вся ЯваСкриптовая, с тормозами жуткими - так как туда ни один нормальный юзер зайти в принципе не может. А Гугл заходит, ждет всей этой загрузки - а после говорит "Ах, фиговенькое у Вас, брат, время доступа". По нормальным - в пределах 0.5 с (что лучше, чем у 90% сайтов), а по этим нескольким - аж до 12 секунд он видит... А кто его сюда звал?! Согласно его же рекомендациям, все СЛУЖЕБНЫЕ, не представляющие интереса для посетителей страницы, перекрыты в РОБОТСе.

... прочитал написанное и задумался ...

Вот смотрите: чтобы удалить каталог из индекса Гугла, надо:

- перекрыть его в robots.txt;

- убедиться, что он дает 404.

Иначе удаление директории не произойдет.

Как он узнает, ЧТО отдает каталог - то есть, его индексная страница, - если не ЗАЙДЕТ на нее?!

Вывод: страницы, запрещенные в robots.txt, Гугл прекрасно обходит. И ЧИТАЕТ содержимое (если оценивет время его загрузки; иначе зачем загружает? Если видит HTTP-отдачу - значит, заходит). Но в индексе не показывает. А кто сказал, что НЕ УЧИТЫВАЕТ?! Например, у Вас (у меня) там линкопомойка. И что: Гугл это видит явно, и продолжает по головке гладить - мол, молодец, веб-мастер, ставь побольше таких на сайт, участвуй в схемах, призванных исказить выдачу в свою пользу ... Да любой ребенок на его месте догадается с трех раз, как надо поступить!

В линкофармах я отдаю гуглообразным код 410, чтоб неповадно соваться было: риск меньший, чем если ее обнаружат. Это проходит на "ура" в совокупности с разными роботсами для поисковых машин и не-поисковиков (это нигде не запрещено, кстати! Пользуйтесь; robots.txt - НЕ контент). Но вот с действительно служебными страницами - что, неужели тоже клоачить?

Попробовать мобильные прокси бесплатно: clck.ru/3EKDyC
sirota77
На сайте с 08.09.2008
Offline
161
sirota77
#12
Willie:
Но он этого дождется!

да, и хуже будет только вам :)

Willie:
А Гугл заходит, ждет всей этой загрузки - а после говорит "Ах, фиговинькое у Вас время доступа".

ну и пусть себе говорит, на ранжировании ведь не сказывается

I
На сайте с 14.09.2009
Offline
29
Ippi
#13
Willie:
Вот смотрите: чтобы удалить каталог из индекса Гугла, надо:
- перекрыть его в robots.txt;
- убедиться, что он дает 404.

Вот как раз в этом случае оно обычно ни фига и не удаляется месяцами (если мы об автоматическом удалении). Перекрывать в robots.txt подлежащие самоудалению ресурсы нельзя. Та же история с noindex — глупо, прописав его, ещё и "на всякий случай" закрывать страницу в robots.txt.

S
На сайте с 25.11.2005
Offline
82
snk
#14

аудитория местная, я в шапке писал

Ippi:
snk,
аудитория сайта местная? Если иностранцы, то тестировать нужно из-за границы, может получиться в разы медленнее, особенно если страница состоит из большого кол-ва объектов. В первом приближении можете попробовать site-perf.com (обратите внимание на разницу во времени доступа из Европы и Штатов), но он не исполняет скрипты.

Ippi добавил 23.03.2010 в 16:53
WebPagetest скрипты исполняет, но чуть посложнее в использовании.
Заставь свой сайт работать на тебя. Реально работает! (http://tinyurl.com/cqkpeg)
I
На сайте с 14.09.2009
Offline
29
Ippi
#15
snk:
аудитория местная, я в шапке писал

Увидел только про русскоязычность сайта и украинскость хостинга. Согласитесь, это не одно и то же :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий