Как используют robot.txt?

413

angr

24 сентября 2008, 19:01

#11

NikitoZZ:
Про админку я как пример написал

ну значит хреновый пример...

Требуется СЕО-Специалист в Кишиневе, в офис. ()

370

kimberlit

25 сентября 2008, 00:55

#12

nikki4:
Как используют robot.txt?

robots.txt

40

Futurman

25 сентября 2008, 04:18

#13

nikki4:
везде пишут, что он нужен чтобы запретить индексацию отдельных страниц, есть даже примеры как это делается. вот только я не могу понять зачем?
ведь вроде бы, чем больше страниц проиндексировано, тем больше вероятность, что могут зайти на страницу случайным запросом

1. Можно запретить дубликаты страниц

2. Прописать Host

3. Прописать sitemap.xml

4. Для отдельных "Teleport Pro" роботов можно прописать запрет индексации сайта, правда сейчас мало помойму помогает

114

surpris

25 сентября 2008, 07:48

#14

Как используют и пишут файл robots.txt? Наверняка много информации на эти темы, но форумчане особенно просто объясняют любые вопросы! Так как же его пишут? ( для особо непонятливых :))

Аудит сайта (http://www.master-live.ru/audit-sayta-i-razrabotka-novoy-strategii-prodvizheniya.html). Конфиденциальность гарантирую. Создание интернет-магазина (http://www.master-live.ru/by-wordpress.html) на wordpress.

192

sabotage

25 сентября 2008, 07:55

#15

Futurman:
4. Для отдельных "Teleport Pro" роботов можно прописать запрет индексации сайта, правда сейчас мало помойму помогает

По этой теме тоже htaccess.


RewriteCond %{HTTP_USER_AGENT} ^Teleport.* [OR]

RewriteRule .*\.(a-zA-Z)$ /preved.gif [L]

Но и это обойти не сложно.

surpris, читайте правила.

413

angr

25 сентября 2008, 08:14

#16

sabotage:
читайте правила.

1+

surpris, а вот вам и прямая дорога к правилам - копайте здесь...

114

surpris

28 сентября 2008, 05:00

#17

angr:
1+

surpris, а вот вам и прямая дорога к правилам - копайте здесь...

Уж лучше я уйду сюда

Маркетинг для шоколадной фабрики. На 34% выше средний чек

Дзен реализовал для авторов возможность вывода денег через СПБ