Help. Сайт не индексируется поисковиками

A0
На сайте с 10.11.2005
Offline
1
440

Помогите пожалуйста понять в чем проблема.

Сайт http://www.arsvest.ru/ почти никем не индексируется.

Я думаю, что проблема в заголовках HTTP. До вчерашнего дня они были такаими:

---

HEAD / HTTP/1.1

Host: www.arsvest.ru

HTTP/1.1 200

Date: Wednesday, 09-Nov-2005 06:38:50 GMT

Server: Apache

Content-type: text/html; charset=windows-1251

Expires: Thu, 01 January 1970 00:00:01 GMT

Last-Modified: Wednesday, 09-Nov-2005 06:38:50 GMT

---

Вчера кое-что исправил и сейчас результаты такие:

---

HEAD / HTTP/1.1

Host: www.arsvest.ru

HTTP/1.1 200 OK

Date: Thu, 10 Nov 2005 09:51:31 GMT

Server: Apache

Last-Modified: Thu, 10 Nov 2005 09:51:31 GMT

Expires: Thu, 01 Jan 1970 00:00:01 GMT <--поисковикам этот заголовок теперь не выдается

Content-Length: 35415

Content-type: text/html; charset=windows-1251

---

Но ситуация кажется не изменилась :(((

Посмотрите пожалуйста мой сайт и подайте идеи - в чем еще может быть проблема

ITPuls
На сайте с 25.08.2005
Offline
109
#1

боюсь ошибиться, но по-моему когда-то здесь поднималась тема о robots.txt: в нем не должно быть пустых строк... Проверьте это...

Вообще ситуация странная - ссылок на вас много - причем достаточно качественных, а вот проиндексировано в Яндеке - ноль....

У вас контент уникальный? или спионереный? еще вопрос - боты заходят или нет?

Демидов Николай
JR
На сайте с 22.03.2005
Offline
263
#2

А что это за комментарии такие интересные?

<!-- htdig__noindex -->

...

<!-- /htdig_noindex -->

A0
На сайте с 10.11.2005
Offline
1
#3

пустые строки в robots.txt должны быть - http://yandex.ru/info/webmaster2.html

Контент большей частью уникальный, боты заходят.

Яндекс скачивает только robots.txt и корневую страницу, а гугль по нескольку раз в день закачивает одни и те же страницы:

http://www.arsvest.ru/news/

http://www.arsvest.ru/forum/

http://www.arsvest.ru/posidelki/

и т.д. но дальше не идет.

Хотя сами страницы гугль тоже знает - http://www.google.ru/search?q=site:www.arsvest.ru+filetype:html&hl=ru&lr=&start=0&sa=N - находит 756 страниц (но на самом деле их на сайте несколько тысяч)

A0
На сайте с 10.11.2005
Offline
1
#4
jED R.:
А что это за комментарии такие интересные?
<!-- htdig__noindex -->
...
<!-- /htdig_noindex -->

это для внутрисайтового поисковика.

A0
На сайте с 10.11.2005
Offline
1
#5

кажется яндекс начал индексировать...

Logistic
На сайте с 14.04.2005
Offline
322
#6
av05:
кажется яндекс начал индексировать...

... стоило только на форуме обсудить - проблема решилась ))

С уважением, Logistic

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий