Перестали заходить боты

KR
На сайте с 26.07.2009
Offline
12
979

Доброго времени суток! Уважаемые у меня вопрос. На форум перестали заходить поисковые боты, последний заход был 31 числа не пойму в чём тут дело. помогите разобраться. В файле роботс всё для ботов разрешено кроме одного бота под именем larbin вот и всё.

Свежие новости из мира IT технологий. свежий софт, уникальные статьи от наших авторов. (http://compworld.org/forum/)
K
На сайте с 31.01.2001
Offline
737
#1

Для начала исправляйте robots.txt. Секции должны отделяться пустой строкой.

P.S. А не слишком дохрена строк в robots.txt ?

P.P.S. Кстати, загоните свой сайт в Яндекс-вебмастер и посмотрите, что не так. Проверьте и robots.txt, там есть средство.

Разбираться в вашей простыне запретов в некорректном файле ни у кого нет желания.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
KR
На сайте с 26.07.2009
Offline
12
#2

Я вгонял в яндекс, он говорит что "Разрешено"

[Удален]
#3

форум что у Вас в подписи?

KR
На сайте с 26.07.2009
Offline
12
#4

Да это именно он

KU_RT добавил 05.08.2009 в 17:12

Ну плиизз помогите что же делать, уже роботс с сайта убрал всё равно не приходят.

R
На сайте с 15.07.2009
Offline
1
#5

Раз роботс убрал то странно, может поисковики забанили?

SJ
На сайте с 13.05.2009
Offline
21
#6
rebero:
ожет поисковики забанили?

На забаненные сайты тоже ходят боты.

KR
На сайте с 26.07.2009
Offline
12
#7

А в чем тогда дело может быть, я никак не пойму... уже 5 день ни одного бота

[Удален]
#8

5 дней - не повод, чтобы поднимать панику. Если будет больше 2х недель, тогда уже можно задуматься.

HM
На сайте с 13.05.2009
Offline
23
#9

5 дней действительно мало. желаете ускорить индексацию? прогоните по соц закладкам. Ходят слухи что быстроботы просто живут на них (с) ктото с форума :)

Продаю ссылки навсегда. Размещаю статьи навсегда. Обмениваюсь ссылками и статьями навсегда. Тематика - туризм. pr2. ТИЦ 20. ДМОЗ. дешего. Самый СДЛьный СДЛ из всех СДЛов :)
KR
На сайте с 26.07.2009
Offline
12
#10

Сайт как раз дней 5 назад активно прогонялся, бывало так что в день по два прогона было. Вот я и думаю может чрезмерные прогоны помешали каким то образом. Уже не знаю что и думать. Бот гугла вообще не вылезал с форума буквально прописался там. А сейчас вообще ни одного не наблюдаю.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий