Sir[MAI]

А вот и не получится! Есть проект, который хостится на www.provider.ru/~site - так вот для него ИЦ (когда он был) всегда был гораздо меньше сайта провайдера! И соответственно в результатах поиска влияние "родительского" сайта заметно не было.

Яндекс, ИМХО, рассматривает www.provider.ru и www.provider.ru/~site как 2 разных сайта.

С Гуглем не все так ясно...

Если я не прав - поправьте. 🙄

Опаньки! Это, похоже, действительно открытие! 😮

А кто может рассказать, как проверить отклик сервера? 😕 Пожалуйста!

Вот это-то я и заметил!.... :)

Про обновление базы поисковика я не говорил. 🙅 Хочу просто запретить роботам запрашивать определенные URL - все. Разве не для этого предназначен robots.txt?! 😕

NULL,

:) обшибся я когда писал 2-ой свой пост.

Суть следующая: Disallow: /sitemap - запрещает sitemap.html, а Disallow: /sitemap/Default.asp - именно www.site.ru/sitemap/Default.asp - такой URL роботы почему-то забирают.

Касаемо того, запретит ли Disallow: /sitemap дирректорию /sitemap/ - этого не знаю... Пока оставлю оба варианта.

А сама эта страница в базе Яндекса есть? Может он ее потерял? У меня периодически теряет одну очень важную - игог: место 30-40-ое...

Вот полный текст robots.txt. Роботы берут его с ответом 200.

--------------------------------------------

User-agent: Yandex

Disallow: /default.asp?MSCSProfile

Disallow: /sitemap

Disallow: /products/job.asp

User-agent: *

Disallow: /error/

Disallow: /srchresult.asp

Disallow: /404.asp

Disallow: /vacancy_form.asp

Disallow: /basket.asp

Disallow: /redir.asp

Disallow: /products/

Disallow: /default.asp?MSCSProfile

Disallow: /technodesign_product.asp

Disallow: /partnering/

Disallow: /sitemap/Default.asp

Disallow: /science/

Disallow: /srchdept.asp

-------------------------------------------------

Я вот думаю, может отдельный User-agent: Yandex виноват??

Может ли кто-нибудь подсказать, чем WebTrends Reporting Center отличается от WebTrends LogAnalyzer?

Какой программой пользоваться-то? 😕

Вернется. Просто все это время будет приходить и забирать только robots.txt

Только мне до сих пор не ясно, что будет с проиндексированными страницами в базе поисковика - останутся они или будут частично удалены...

Это я ляпнул не подумав... 🙄

Cherny,

Спасибо за помощь! :)