robots.txt

12
D
На сайте с 20.01.2010
Offline
3
1111

Здравствуйте!

Укажите плиз, в каком месте я неправильно оформил робот.тхт... т.к. все страницы, которые присутсвуют в индексе у яши это те, которые находятся на первых страницах в каждой рубрике по сайту, все последующие постепенно выпали:cool:. не так давно роботса небыло, недавно воткнул, до этого большинство страниц были в индексе... супорт также указал на роботс... вот собсно он:

User-agent: Yandex

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /uploads/

Disallow: /autobackup.php

Disallow: /admin.php

Disallow: /dap-7.10.js

Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow: /index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

Disallow: /?do=lastcomments

Host: http://***.info/

Light Phantom
На сайте с 17.03.2007
Offline
188
#1

Не зная структуры Вашего сайта, гадать только можно.

На первый взгляд роботс как роботс.

Light Phantom добавил 13.03.2010 в 03:39

Блин. Пора спать идти :)

Host без http:// и / в конце

т. е. просто:

Host: ***.info

D
На сайте с 20.01.2010
Offline
3
#2

Да вобще вез хттп стоит.

Как это может зависеть от структуры?

Dima$ добавил 13.03.2010 в 03:47

Может действительно дело не в самом роботс т.к. на другом сайте дле практически идентичный этому

Light Phantom
На сайте с 17.03.2007
Offline
188
#3
Dima$:
Как это может зависеть от структуры?

Например, урлы на статьи имеют вид: site.info/engine/article1.html и т. д. - вот все, что после engine и не индексируется

D
На сайте с 20.01.2010
Offline
3
#4

http://site.info/fantastic/page/2/ и последующие не индексируются... вобщем только те статьи индексирует которые на первых страницах во всех рубриках... С google все нормально. В чем может быть причина?

SANRone
На сайте с 05.09.2008
Offline
49
#5

http://webmaster.yandex.ru/site/robots.xml

Вам в помощь.

Не реально сказать что у вас не так если не видить сайт.

P.s Предполагаю движок Dle

D
На сайте с 20.01.2010
Offline
3
#6

роботс уже там проверял

двиг дле

SANRone
На сайте с 05.09.2008
Offline
49
#7
Dima$:
роботс уже там проверял

И результат? Страницы разрешены к индексу?

Возможно и за контента вылетают?

Походу не в robots.txt дело

Адрес http://блабал.info/fantastic/page/3/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска.
Адрес http://блабла.info/fantastic/page/4/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска.

P.s Вытри урл

D
На сайте с 20.01.2010
Offline
3
#8

Проверил добрую половину рубрик, именно начиная со второй страницы отстутствуют в индексе, поэтому врядли из-за контента

Dima$ добавил 13.03.2010 в 04:22

И результат страницы разрешены к индексу?

где это можно посмотреть, вобще думаю что разрешены т.к. с гошей проблем нет

SANRone
На сайте с 05.09.2008
Offline
49
#9
Dima$:

где это можно посмотреть

http://webmaster.yandex.ru/addurl.xml

D
На сайте с 20.01.2010
Offline
3
#10

Да пишет что уже проиндексирован, наверное все таки проблема с сайтом и в том как его воспринимает Яндекс...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий