Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Яндекс и форум phpbb

12
Advisor
На сайте с 24.11.2003
Offline
177
Advisor
1408

Довольно таки странно Яндекс проиндексривал мой форум. Ведь написано же в robots.txt 

User-agent: * 

Disallow: /faq.php

Disallow: /groupcp.php

Disallow: /profile.php

Disallow: /memberlist.php

Disallow: /viewonline.php

Disallow: /search.php

Disallow: /login.php

Disallow: /privmsg.php

Disallow: /posting.php

Disallow: /topics_anywhere.php

А в выдаче появилось вот такое

Вопрос - как он смог проиндексировать эти страницы? Ведь сказано же НЕЛЬЗЯ!

[Удален]
#1

Наверно ему через форму скормили.

MX
На сайте с 17.06.2004
Offline
160
MGRLX
#2

Дело не в форме.

У меня, например, директива Host на новых сайтах не работает. Написано 100% правильно. Так что это проблема у Яндекса.

Advisor
На сайте с 24.11.2003
Offline
177
Advisor
#3

Interitus, если я не ошибаюсь, то даже через форму скормить запрещенные в роботс страницы пусть даже и ? и & не удасться...

Nikolaich
На сайте с 18.05.2005
Offline
132
Nikolaich
#4

Advisor, однако накосячил яндекс...

Бабло побеждает зло.
[Удален]
#5

И точно, не дает скормить. Похоже правда глюк. А robots.txt всегда такой был?

Евген
На сайте с 28.02.2004
Offline
1051
Евген
#6

сейчас попоробовал добавить www.forum.standartpark.ru/profile.php?mode=viewprofile&u=2&sid=73 - пишет запрещено в роботсе -)

надо ждать переиндекса, можно вручную поудалять попробовать.

при удалении пишет

Удаление URLа

Документ www.forum.standartpark.ru/profile.php?mode=viewprofile&u=2&sid=73 не может быть удален из базы Яндекса, так как он не был проиндексирован.

:) просто глюк.

Арбитражишь? подними РОИ на 10-20% - бонусы на пополнение рекламных сетей (тм, мт, твк, твс) (https://eprofit.me/ru/partner?olymp)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Advisor
На сайте с 24.11.2003
Offline
177
Advisor
#7
Interitus:
А robots.txt всегда такой был?

Да, всегда.

Евген:
можно вручную поудалять попробовать

Так и сделал :)

Вот официальный ответ сапорта Яндекса: 

Робот среагировал правильно, он не проиндексировал то,

 что Вы ему сказали неиндексировать, 

например страницы www.forum.standartpark.ru/profile.php в индексе нет.

 Страницыhttp://www.forum.standartpark.ru/profile.php?mode=viewprofile&u=3&sid=73ca373760cf1aa8a52dfc40b2d4e876

 и ей подобные в файле robots.txt для индексации не запрещены,

 более подробно об этом можно прочитать здесь 

-- http://www.robotstxt.org/wc/exclusion-admin.html--

С уважением,Служба поддержки----------------www.yandex.ru----------------
SK
На сайте с 31.01.2005
Offline
72
SerK
#8

Вообще-то у Яндекса странные боты, вернее некоторые нюансы стандарта они интерпретируют по своему. По идее если строка в Disallow не заканчивается слэшем, это должно быть "все что начинается с...". Видимо окончание .php он понимает как конкретную страницу.

Попробуйте:

Disallow: /profile

и т.д., должно получиться. Я таким образом запретил группу страниц search_id.php, search_name.php и т.д. строкой:

Disallow: /search

Форум "ПолитДиалог" (http://forum.politdialog.ru/): мы не правые, не левые, не за власть, не против нее. Мы - граждане России, все зависит только от нас! С уважением, Сергей Кротов.
[Удален]
#9

Это похоже в суппорте у них странные боты сидят.

C
На сайте с 19.09.2001
Offline
120
Cherny
#10
Это похоже в суппорте у них странные боты сидят

Алексей, суппорт ведь страницы не индексирует. Тут скорее интерпретация стандарта от обратного -- если наш робот проиндексировал, значит в данном случае стандарт индекcировать разрешает. :(

Advisor, попробуйте добавить ? после .php, как-то так: 

Disallow: /profile.php?

Disallow: /login.php?
С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий