Кто ответит - зачем яндекс в выдачу кладет файлы robots.txt ?

12
basilic
На сайте с 16.05.2008
Offline
369
1193

Никогда не обращал на это внимание, ну грубо говоря вот.:confused:

и какое это зеркало рунета если "всего лишь" 13 тыс. страниц :)

4й - cайт упячки, первый реальный роботс, соответственно реальных еще меньше чем 13 тыс.

0bevan
На сайте с 23.09.2008
Offline
239
#1

одни нубы в рунете :)

или все Disallow: /robots юзают 😂

Не знаешь как попасть в ТОП? Тебе сюда yandex.ru/admin (http://yandex.ru/admin) ( ͡° ͜ʖ ͡° )
basilic
На сайте с 16.05.2008
Offline
369
#2
0bevan:
одни нубы в рунете :)

Не понял?

Вроде роботсы, те что роботсы реально, правильные, например у Yandex.ua

0bevan
На сайте с 23.09.2008
Offline
239
#3
Не понял?

ну вы имели ввиду что мало сайтов с роботс файлами яша находит?

и какое это зеркало рунета если "всего лишь" 13 тыс. страниц
dlyanachalas
На сайте с 15.09.2006
Offline
693
#4

inurl в Яндексе это просто текст, а не команда.

И все роботсы из вашего списка - невалидные и проиндексированные как страницы. В чем вопрос?

basilic
На сайте с 16.05.2008
Offline
369
#5

basilic добавил 22.09.2009 в 19:20

dlyanachalas:
inurl в Яндексе это просто текст, а не команда.

В курсе, выборочно роботсы посмотрите, а не все подряд.

dlyanachalas:

И все роботсы из вашего списка - невалидные и проиндексированные как страницы. В чем вопрос?

Чем роботс yandex.ua не валиден?

Вопрос - почему они все ж в выдаче (Исправлю, в выдаче проиндексированных страниц).

0bevan:
ну вы имели ввиду что мало сайтов с роботс файлами яша находит?

Во во :)

Все - понял я почему, не докрутил...

Все роботсы, которые в индексе имеют входящие ссылки, но вот почему их не режут???

Грубо говоря в роботсе делай релевантный кунтент и директивы пониже и все - самый посещаемый урл сайта (это фантазии).

dlyanachalas
На сайте с 15.09.2006
Offline
693
#6
basilic:

Чем роботс yandex.ua не валиден?
Вопрос почему они все ж в выдаче.

Вот тут wolf о нем упомянул

Возможно поэтому? 😆

basilic
На сайте с 16.05.2008
Offline
369
#7
dlyanachalas:
Вот тут wolf о нем упомянул

Возможно поэтому? 😆

Я вот тут уже б этом упомянул, но смысл? По контенту кстати он ищется.

dlyanachalas
На сайте с 15.09.2006
Offline
693
#8
basilic:
Я вот тут уже б этом упомянул, но смысл? По контенту кстати он ищется.

Вариантов только два - или он всё-таки невалидный с точки зрения Яндекса (почему - неизвестно), или где-то на него стоит ссылка (правда я пока не нашел, но и не очень усердно искал. Нашел только wolfа))

DyaDya
На сайте с 11.04.2007
Offline
147
#9

Интересный момент, но, видимо, для яшки файлы роботса такие же, как и любые другие .txt

Разве они чем-то провинились? ;)

Выбирайте качественный хостинг (http://vashmaster.ru/informaciya/o_poleznyh_programmah/news83.php) и продвигайте сайты в СЕОПУЛЬТ (http://seopult.ru/ref.php?ref=72b5ed9561fe66a1). А на «SAPE» я в обиде :) Не упрекайте за очепятки, пишу вслепую (http://ergosolo.ru/) и также делаю сайты (http://www.vashmaster.ru/) ;)
basilic
На сайте с 16.05.2008
Offline
369
#10

Механизм хочется понять,

у каждого из нас есть роботсы и каждый день они посещаются роботами яндекса, так вот у одних они в выдаче :) а у других их нет, обидно да?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий