punka: Благодарим Вас за то, что обратили наше внимание на проблемы с индексированием Вашего сайта. Мы постараемся в скором времени определить, по какой причине он отсутствует в поиске.
Значит, не забанен, а просто выпал.
Был бы забанен, так и сказали бы.
Советую не расстраиваться, а подождать пару апдейтов.
# Если задана директива MultiViews в числе значений Options,
# сначала сервер попытается открыть файл имя.html и включит его в
# листинг, если файл существует. Если файл имя.html не существует,
# сервер переориентируется на открытие файла
# имя.txt и включение его в листинг в виде простого текста.
И так далее...
Options MultiViews включена в Апаче по умолчанию.
Если вы ее отключите, как я сказал, то в урлах обязательно должно присутствовать расширение файла, например www.site.ru/file.php , иначе будет выскакивать ошибка 404.
ВНИМАНИЕ: т.е. просто www.site.ru/file уже страница открываться не будет.
Подходите к этому с осторожностью. ☝
Отключить можно так:
RewriteEngine on
Options +FollowSymlinks -MultiViews RewriteBase /
и т.д.
Все нормально. На данный момент индексатор работает в штатном режиме. 🚬
P.S. Вообще, пора-бы уже сделать сервис, который бы показывал, как работает бот I. Может быть, займусь в отпуске, если никто до этого времени не сделает.
Благодарим Вас за то, что обратили наше внимание на проблемы с индексированием Вашего сайта. Мы постараемся в скором времени определить, по какой причине он отсутствует в поиске.
Значит, не забанен, а просто выпал.
Был бы забанен, так и сказали бы.
Советую не расстраиваться, а подождать пару апдейтов.
# Если задана директива MultiViews в числе значений Options,
# сначала сервер попытается открыть файл имя.html и включит его в
# листинг, если файл существует. Если файл имя.html не существует,
# сервер переориентируется на открытие файла
# имя.txt и включение его в листинг в виде простого текста.
И так далее...
Options MultiViews включена в Апаче по умолчанию.
Если вы ее отключите, как я сказал, то в урлах обязательно должно присутствовать расширение файла, например www.site.ru/file.php , иначе будет выскакивать ошибка 404.
ВНИМАНИЕ: т.е. просто www.site.ru/file уже страница открываться не будет.
Подходите к этому с осторожностью. ☝
Отключить можно так:
RewriteEngine on
Options +FollowSymlinks -MultiViews
RewriteBase /
и т.д.
Может быть
Options -MultiViews
вам поможет.
Options +FollowSymlinks -MultiViews
У меня тоже прекрасно работает.
Gecko/20070713 Firefox/2.0.0.5
Нет проблем.
Единственный минус, то что роботы Java-скрипты не исполняют
ставишь счетчик от хотлога например - если не ошибаюсь, там можно было посмотреть приход бота.
Минус номер два: картинки счетчиков роботы тоже не загружают. :)
---------
Есть ли способ посмотреть заходит поисковой робот на сайт который расположен на народовском хостинге или нет?
ИМХО: никак не посмотрите.
Если не горит, то можно и просто запастись терпением.
Все нормально. На данный момент индексатор работает в штатном режиме. 🚬
P.S. Вообще, пора-бы уже сделать сервис, который бы показывал, как работает бот I. Может быть, займусь в отпуске, если никто до этого времени не сделает.
Ребята, вы в Новосибе то были? Точно хотите сюда столицу переносить?
zaara, а в Академгородок?
Или я отстал, и уже от него ничего не осталось? Был там пацаном еще в конце 70-х.
Помню, как сейчас, лес вокруг, тайга... Красота...
Этого уже нет? 😕
Да, ко всем.
Пару дней всего - вчера, позавчера, была активность.
Сегодня - глухо, как в танке. Кроме простукивалки каталога, других ботов Яши нет.
Раньше никогда такого не было, как вы говорите, AlienZzzz: стабильно раз в день заходил.
Даже в былые времена бана. 🚬
П.С.
Гугла и Раблер и Апорт заходят с интенсивностью как всегда
П.С. Неужели и с Апорта заходит? ;)
Это точно, с недавних пор, как будто ддос-атака на рунет идет.
Пришлось утихомирить slurp'а
Crawl-delay: 60