Как создать robots.txt (видео)

12 3
Ctulhu
На сайте с 21.05.2005
Offline
221
2449

Собственно, если кто не видел:

http://youtu.be/TaOb21N5Gho

Создал эту тему потому что есть желание сделать еще несколько видео.

Хотелось бы понять что в этих видео показать. На что обратить большее внимание. И знать что понятно, что непонятно.

Следующее видео скорее всего будет сопровождаться голосовыми комментариями.

Жду ваших вопросов, идей, комментариев и критики.

Строительство бассейнов (http://moscowpools.ru/)
Alex Klo
На сайте с 15.06.2006
Offline
304
#1

папки типа admin img лучше закрывать слэшем на конце

не раскрыта тема как засунуть созданный локально robots.txt на сайт... ;)

Проверка и мониторинг позиций сайта ( http://www.topvisor.ru/?inv=1520 ) Продвигаю сайты http://climat-nw.ru/conditioner-installation/ http://www.aircom-spb.ru/service/montaj/
Ctulhu
На сайте с 21.05.2005
Offline
221
#2

Alex Klo, папки типа admin вообще лучше не указывать в robots.txt. Но написал я по двум причинам: доступно для понимания + летняя шумиха про индексацию закрытых частей сайта.

Alex Klo:
папки типа admin img лучше закрывать слэшем на конце

Поясните почему, пожалуйста.

Alex Klo:
не раскрыта тема как засунуть созданный локально robots.txt на сайт...

Принято. Письмо даже тетька писала с вопросом где находится корень сайта. Только это видео не о том как залить, а о том как создать. Перегружать информацией в одном видео — это плохо.

Alex Klo
На сайте с 15.06.2006
Offline
304
#3
Ctulhu:
папки типа admin вообще лучше не указывать в robots.txt

тоже хотел сказать именно это - отвлекли сотрудники в скайпе...

Ctulhu:
Перегружать информацией в одном видео — это плохо.

тоже верно

Ctulhu:
Поясните почему, пожалуйста.

при отсутствии слеша под это ( /admin ) правило могут попасть файлы вида admin.php

указывая /admin/ мы точно знаем, что указываем именно папку

siv1987
На сайте с 02.04.2009
Offline
427
#4

Присоединяюсь, тема как закачать роботс на сервере не раскрыта. Низачот. Ждем следующего видео по установке роботса на сайт.

Geers
На сайте с 12.04.2011
Offline
485
#5

Роботс без цицек не интересен)

Alex Klo
На сайте с 15.06.2006
Offline
304
#6
Geers:
Роботс без цицек не интересен)

тут как бы не курилка...

siv1987:
тема как закачать роботс на сервере не раскрыта. Низачот. Ждем следующего видео по установке роботса на сайт.

кстати, должен предупредить - прямая закачка роботса на сайт не всегда полезна - есть CMS, которые обрабатывают виртуальное наличие роботса для конкретного сайта из списка! через механизм ЧПУ...

Ctulhu
На сайте с 21.05.2005
Offline
221
#7
Alex Klo:
при отсутствии слеша под это ( /admin ) правило могут попасть файлы вида admin.php
указывая /admin/ мы точно знаем, что указываем именно папку

А, в этом смысле.

Geers:
Роботс без цицек не интересен)

siv1987
На сайте с 02.04.2009
Offline
427
#8
Alex Klo:
кстати, должен предупредить - прямая закачка роботса на сайт не всегда полезна - есть CMS, которые обрабатывают виртуальное наличие роботса для конкретного сайта из списка! через механизм ЧПУ...

Если сервер виртуально обрабатывает запрос к роботсу врядли будет обращаться к файлу в корне, а выдаст свой вариант. И в конце, какая разница механизм чпу отдает роботс или показывается правила составленные вами.

Alex Klo
На сайте с 15.06.2006
Offline
304
#9
siv1987:
сервер виртуально обрабатывает запрос к роботсу врядли будет обращаться к файлу в корне, а выдаст свой вариант.

тут может быть коллизия

BadBoy
На сайте с 31.01.2005
Offline
279
#10
Ctulhu:
сопровождаться голосовыми комментариями

Дим, ну однозначно надо голосовые комментарии.

Я лично нихрена не вижу что ты там делаешь.

Надо подробно объяснять что да как, так как видео будут смотреть, как полные школоло так и профи.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий