Robots.txt - как посмотреть?

123
Григорий Селезнев
На сайте с 25.09.2001
Offline
298
#11

если его клоакингом не прятать ...

Д
На сайте с 27.11.2002
Offline
23
#12

А почему это, если недоступен через Explorer, недоступен и роботу? Что мешает, скажем, обрабатывать robots.txt тем же PHP - определяешь user-agent - и если это какой-нибудь Мазилла :) - выдаешь ему, одно, а всем остальным(роботам) другое... Извиняюсь, если для кого-то не открыл Америку... Кстати, насколько оправдано идти на подобные "грязные" методы скажем со страницей ссылок, да и вообще с любой другой?

Д
На сайте с 27.11.2002
Offline
23
#13

Я, конечно, говорю не о моральной стороне вопроса - она "ежу понятна" :)

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#14
А почему это, если недоступен через Explorer, недоступен и роботу?

Речь ведь шла о robots.txt - его просто нет смысла прятать от человека. Лично я такой необходимости не вижу.

Кстати, насколько оправдано идти на подобные "грязные" методы скажем со страницей ссылок, да и вообще с любой другой?

Не советую.

T
На сайте с 18.11.2002
Offline
21
#15

а как правильно написать robots.txt?

на сервере есть большое количество "служебных" директорий, не имеющих ссылки на себя со страниц сайта, поисковый робот найдет эти дирекории и предпримет попытку проиндексировать или нет? Вероятно, не имеет смысла запрещать все подряд, лежащее на сервере и не имеющее отношение к непосредственно сайту.

А Вы говорите...
I
На сайте с 28.10.2002
Offline
108
#16
Tanys
а как правильно написать robots.txt?

Примерно так, как это сделано для этого сайта:)

Д
На сайте с 27.11.2002
Offline
23
#17

to Gray

Речь ведь шла о robots.txt - его просто нет смысла прятать от человека.

А вот тут как раз вторая часть того, что я говорил - человек с тобой честно поменялся ссылками, а ты свою страницу со ссылками просто запретил к индексации, а чтобы тот не узнал и не набил морду, скрыл настоящий robots.txt от известных пользовательских браузеров... Не каждый догадается сменить user-agent для проверки...

Не советую.

А чем это, собственно, грозит? Кроме того, что морду набьют :) ...

I
На сайте с 28.10.2002
Offline
108
#18
Денис


А вот тут как раз вторая часть того, что я говорил - человек с тобой честно поменялся ссылками, а ты свою страницу со ссылками просто запретил к индексации, а чтобы тот не узнал и не набил морду, скрыл настоящий robots.txt от известных пользовательских браузеров... Не каждый догадается сменить user-agent для проверки...

Если человек не первый день занимается раскруткой, то рано или поздно заметит подвох - ссылки из графы "ссылающиеся сервера" не будет. А вот в алгоритм PR он въедет не так быстро, так может не обманывать, а сделать ссылки на странцах так, чтобы если отдавать, так совсем маленько :)

А чем это, собственно, грозит? Кроме того, что морду набьют :) ...

Это нужно быть большим профессионалом, чтобы за такие ссылки по морде получать!:D

Лично меня пусть попробуют сначала найти!:p

Д
На сайте с 27.11.2002
Offline
23
#19
А вот в алгоритм PR он въедет не так быстро, так может не обманывать, а сделать ссылки на странцах так, чтобы если отдавать, так совсем маленько

А вот тут, пожайлуста, можно поподробнее? :) Это как это так надо поставить ссылку, чтобы PR поменьше отдавать? А то уж больно не охота им делиться и не прибегать к вышеописанному способу :) В принципе, если, скажем, текст ссылки делать без ключевых слов тематики(скажем, слово "тут" можеть быть примером такой "неполезной" ссылки :) ), то это хуже обладателю сайта, на который ведет ссылка, но ведь мне-то все равно - PR уйдет в любом случае... Или все-таки как-то PR будет варьироваться?

wolf
На сайте с 13.03.2001
Offline
1183
#20
Или все-таки как-то PR будет варьироваться?

От текста ссылки величина утекаемого PR, конечно же, никак не зависит.

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий