Закрыл индексацию

L2
На сайте с 18.03.2010
Offline
48
460

Закрыл индексацию на сайте, потому что сервер не справлялся. Когда вернуться боты поисковые, чтобы заного попробовать проиндексировать? Или это надо как-то вручную уже будет заявление делать.

K
На сайте с 31.01.2001
Offline
737
#1
like2dev:
Закрыл индексацию на сайте

Как именно закрыли?

Попробуйте эту директиву и откройте индексацию обратно.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
L2
На сайте с 18.03.2010
Offline
48
#2

User-agent: *

Disallow: /

Боюсь, что боты придут не скоро =(

K
На сайте с 31.01.2001
Offline
737
#3

Я вам написал, что надо сделать. Почему вы не читаете? Или читаете, но не понимаете слов?

Вы не можете запретить доступ к файлу robots.txt, роботы за ним регулярно приходят. Если в нем будут изменения, они это увидят.

А чтобы не сидеть как болван, который ничего не видит и не знает, что именно делают роботы, почитайте ссылку, которую я вам дал и почитайте логи вашего сайта.

Sergioseotus
На сайте с 07.05.2009
Offline
18
#4

они придут и попросту увидят что сайт закрыт от индексации... со временем сайт может полностью выйти из индекса так как вы запрещаете его индексировать... вручную делается через аддурилку яндекса... но лучше не допускать подобного... смените сервер наконец

L2
На сайте с 18.03.2010
Offline
48
#5

User-agent: *

Disallow: /admin/

Disallow: /profile

User-agent: Yandex

Crawl-delay: 10

User-agent: msnbot

Crawl-Delay: 25

User-agent: googlebot

crawl-delay: 10

User-agent: yahoo-slurp

Crawl-Delay: 15

User-agent: Mail.Ru

Crawl-Delay: 20

Правильно?

K
На сайте с 31.01.2001
Offline
737
#6

Да, нормально. Но уж очень большие интервалы, ИМХО.

Посмотрите по логам, какие боты больше всего мучали ваш сайт.

И думайте, почему не справляется хостинг - криво сделан сайт или фиговый хостинг.

L2
На сайте с 18.03.2010
Offline
48
#7

Был, хреновый движок. Каждый раз когда бот запрашивал сайт ему выдавалась новая сессия, в итоге сессий было слишком много и нельзя было создать новую сессию.

K
На сайте с 31.01.2001
Offline
737
#8
like2dev:
Каждый раз когда бот запрашивал сайт ему выдавалась новая сессия

Ну и закройте эти урлы в robots.txt , доработайте движок.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий