randy
У меня сегодня целый день скачет PR 4-5 и количество проиндексированных страниц падало с 2570 до 750 и остановилось сейчас на 1350... Смотрел сайт партнеров, количество проиндексированных страниц упало с 91 000 до 45 000 ... Очень интересно чем все это закончится... Что еще интересно, Google путает Заголовки страниц, на главной странице Интернет магазина в Title пишет Название программы каталога софта... Бред какой-то... :)
Professor
Вообще странно, нафига Яндексу индексировать то, что народ ЯВНО ему говорит НЕ ИНДЕКСИРОВАТЬ. Может им новые сервера чем-то забить нужно, много места свободного ? :)
Я это прекрасно понимаю :)
Форму поиска использует всего 2-3 крупных сайта, например MetaPing и SoftSearch ...
Сейчас я вписал search.php в robots.txt и по идее такого больше происходить не должно.
А что касается того, что Яндекс все подряд индексирует, то дело было так.
Сдали мы проект когда-то http://softportal.com/demo/lawyer/
Так вот, через некоторое время стало приходить на тестовое мыло большое количество писем с информацией о регистрации новых пользователей на http://softportal.com/demo/lawyer/ Я тогда посмотрел, в результатах запроса мы стояли выше самого заказчика Адвокат - Онлайн Т.е. народ шел к нам, хотя не должен был вообще видеть этих страниц :) Это было месяца 2 назад... Сейчас вроде этого УРЛа уже нет... И похожих ситуаций было много из-за того, что папка /demo/ индексировалась, хотя не должна была...
Gray
:) Ты прав, нету. Я просто сначала не мог понять как Яндекс лезет в форму и индексирует результаты. Сейчас подправлю robots.txt , спасибо что напомнил :)
wolf
Да, в этом-то и странность, что идет индексировать :(
Тут есть оишбка?
===
# robots.txt for http://softportal.com
User-Agent: *
Disallow: /cgi-bin/
Disallow: /cutted/
Disallow: /img/
Disallow: /logs/
Disallow: /meta/
Disallow: /member/
Disallow: /top/
Disallow: /demo/
Disallow: /favicon.ico
Disallow: /400.shtml
Disallow: /401.shtml
Disallow: /403.shtml
Disallow: /404.shtml
Disallow: /500.shtml
========
:)
:) Не знаю как у кого, но у меня почему-то Яндекс лезет во все щели :)
robots.txt игнорируется Яндексом... :) он индексит все что видит ...
Inferno
Наверное точно так же ручками прийдется эти УРЛы удалять :(
Smile
:) Да нафига мне что-то накручивать? Рано или поздно все равно вычислят...
