Rambler. Создатели поисковика не умеют составлять robots.txt

12
Pavel Medvedev
На сайте с 27.01.2006
Offline
166
3289

http://top100.rambler.ru/robots.txt

User-agent: *

Allow: /

Disallow: /resStats

Crawl-delay: 0.5

Похоже они пытались закрыть директорию /resStats, но не правильно используют директиву Allow.

и в гугле и яндексе она индексируется.

Интересно, а робот их так же файл обрабатывает?

Консультирую по SEO. Опыт c 2005: окна топ1,Ашан,Фишки,Спортс и др. Пишите в FB.
ML
На сайте с 05.09.2008
Offline
107
#1

Как правило создатели и администраторы - разные люди.

[Удален]
#2

Ну, от ошибок никто не застрахован :).

Yurecm
На сайте с 25.02.2007
Offline
233
#3
Alexby:
Ну, от ошибок никто не застрахован .

Да, но это все-таки косяк.

BlogDix
На сайте с 19.09.2010
Offline
5
#4

Хех, я посещал их роботс, но не обратил на это внимания))

Криминальные новости (http://2kriminalistika.ru/)
iren K
На сайте с 28.12.2008
Offline
222
#5
BlogDix:
Хех, я посещал их роботс, но не обратил на это внимания))

а Вы чей бот? 😎

c уважением Iren
BlogDix
На сайте с 19.09.2010
Offline
5
#6
iren K:
а Вы чей бот? 😎

Свой собственный)

IZmoskvy
На сайте с 18.12.2006
Offline
167
#7

Рамблер в топку😂

Делаю видео и проморолики - моя тема с отзывами (/ru/forum/comment/15761005). Профессионально занимаюсь созданием и продвижением сайтов (http://pr-mastera.ru).
S
На сайте с 28.10.2005
Offline
296
#8

Думаете сеошники его умеют составлять? 😂

Pavel Medvedev
На сайте с 27.01.2006
Offline
166
#9
semenov:
Думаете сеошники его умеют составлять? 😂

Уверен что больше половины сеошников не поймет где ошибка в роботсе и как ее исправить.

о. уже скоро 10млн страниц статистики гугл проиндексит

Результатов: примерно 9 640 000

Рамблеру пофиг. Мощностей хватит)

Shessmaster
На сайте с 15.10.2007
Offline
240
#10
sni:
Уверен что больше половины сеошников не поймет где ошибка в роботсе и как ее исправить.

о. уже скоро 10млн страниц статистики гугл проиндексит
Результатов: примерно 9 640 000
Рамблеру пофиг. Мощностей хватит)

Паша, так может поможем Рамблеру составить правильный robots: ;)

User-agent: *

Disallow: /resStats

Crawl-delay: 0.5

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий