robot.txt что еще там прописать?

12
olympteka
На сайте с 08.06.2013
Offline
16
#11
Disallow: /cart.php* Disallow: /index.php$

Это что за строка? две дериктивы в одной. Я думаю, это уже траблы. Потратьте время - ну час от силы, и внимательно почитайте, как формировать robots.txt и зачем. Сформируете, а потом можете и забыть (как и я :-)). Зато останутся некие общие знания предмета.

ExVood
На сайте с 02.07.2013
Offline
39
#12
Russian Traveller:
ExVood, и где там сказано про размер robots.txt?
Вы про этот коммент?
http://alaev.info/blog/post/3013#comment-7970

Конкретнее:

http://alaev.info/blog/post/3900

http://alaev.info/blog/post/4143

Так вот еще раз – идеальный сайт – это когда бесполезных страниц нет и закрывать нечего. Но CMS, какими бы классными они не были, все равно создают для нас «неожиданности» и приходится выкручиваться. Приходим к выводу – без robots.txt не обойтись…НО!

Временно переключимся — смотрите на идеальный robots.txt для DLE

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
RT
На сайте с 02.07.2012
Offline
90
#13

покажите вывод о том, что размер файла влияет на ранжирование

ExVood
На сайте с 02.07.2013
Offline
39
#14
Russian Traveller:
покажите вывод о том, что размер файла влияет на ранжирование

К примеру:

В-третьих, сохранится какая-то часть статического веса сайта, которая раньше утекала по ссылкам на закрытые страницы, а это может положительно отразится на ранжировании сайта.
RT
На сайте с 02.07.2012
Offline
90
#15
ExVood:
В-третьих, сохранится какая-то часть статического веса сайта, которая раньше утекала по ссылкам на закрытые страницы, а это может положительно отразится на ранжировании сайта.

и как это относится к вашим заявлениям?

Все тут понятно, ваша проблема в том, что вы неправильно толкуете идею автора

ExVood
На сайте с 02.07.2013
Offline
39
#16
Russian Traveller:
и как это относится к вашим заявлениям?
Все тут понятно, ваша проблема в том, что вы неправильно толкуете идею автора

Я лишь дал совет по поводу редактирования/использования самого файла

DiAksID
На сайте с 02.08.2008
Offline
236
#17

robots.txt всегда всего лишь TXT 🙄 так что ExVood ляпнул не по делу, хотя и пруфы на монстров типа Вики тоже не стоит светить - ничего они не доказывают ибо на особом положении.

вот размер 404 / 403 отслеживать есть реальный смысл, особо в СМS, которые по умолчанию в них шаблонные хеадеры/футеры с финтифлюшками легко запихнуть могут заодно с пачкой джаваскриптов...

show must go on !!!...
E
На сайте с 09.01.2008
Offline
61
#18

мелкий сайтик без ЧПУ.. все через один файл делается... интереснее было б в htaccess забить урлы красивые. но если то, я так понимаю сложно, то просто надо оставить только технические ссылки, которые на связаны с картинками и текстовыми страницами уникальными.

страницы печати, поиска и корзины надо оставить в Disallow:

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий