насколько полезно юзать robots.txt ???

Erick Flatcher
На сайте с 05.02.2002
Offline
216
903

насколько полезно юзать robots.txt ??? реальный ли от этого прирост пользователей ?

P
На сайте с 31.08.2001
Offline
9
#1

Использование robots.txt позволяет скрыть от спайдера те файлы и каталоги, появление которых в поисковике нежелательно. Например, каталог со служебной графикой и пр. В этих случаях его использвание весьма оправдано.

С точки зрения прироста пользователей robots.txt позволяет закрыть каталоги очень большей степени вложенности и тем самым ускорить переиндексацию сайта. Хотя это имеет смысл, если на сайте несколько тысяч страниц

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#2

насколько полезно юзать robots.txt ??? реальный ли от этого прирост пользователей ?

Erick Flatcher

Ну что за глупый вопрос?! А применение php вместо perl дает прирост траффика на 0,004%....

А если не пользоваться в телнете командой chmod, то рост траффика будет просто потрясающим...

Ну, при чем здесь одно к другому?

L
На сайте с 06.09.2001
Offline
67
#3

В былые времена, как сейчас - не знаю, года 2 назад наблюдалась такая картина в отношении поведения робота Лайкоса - первым делом он запрашивал robots.txt, если не получал его - то уходил.

Так что с этой точки зрения, наличие robots.txt действительно, хоть косвенно, но влияло на трафик

TrafficHolder.com - Buy/Sell Adult Traffic (http://www.trafficholder.com/aff.php?samuelapirrone)
Erick Flatcher
На сайте с 05.02.2002
Offline
216
#4

Lolo

спасибо

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#5

В былые времена, как сейчас - не знаю, года 2 назад наблюдалась такая картина в отношении поведения робота Лайкоса - первым делом он запрашивал robots.txt, если не получал его - то уходил.

Это робот Inktomi так делал. Сейчас вроде нормально индексирует.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий