Все вопросы по robots.txt

Miha Kuzmin (KMY), в случае полного запрета в роботсе, ты теряешь все плюшки от ссылочного и пф

в случае указания в Clean-param - ты указываешь роботу что существует страница без данных параметров и индексировать надо именно её

у варианта с канониклами есть ряд своих проблем:

1. трудность правильной настройки (основная на подавляющем количестве сайтов)

2. если каноническая страница недоступна, каноникл будет проигнорирован роботом

3. будет жраться квота на сканирование не канонических url (может быть проблемой на больших сайтах)

burunduk, але! Не рассказывай про "потерю пф" и "плюшки от ссылочного". В случае, когда его целенаправленно спамят (хотя странно, на партнерку похоже), там единственной плюшкой может минусинск прилететь. Поэтому лучше всего дизаллоу. Каноникал при спаме - явно не то, что нужно.

не прилетит ;)

burunduk, теоретически :) А практически все равно оч похоже на партнерку.

Здравствуйте.

Я составил robots для сайта (внизу указаны боты, чтобы сайт не посещали): https://goo.gl/PZ1qYW

Вопросы:

1. Корректно ли составлен robots.txt? Если есть замечания, то напишите.

2. Нет ли там каких-то пересечений (чтобы не получилось так, что для ботов перекрыл посещение сайта в Disallow: / , а в итоге перекрыл для всех поисковиков)?

Добрый день, уважаемые.

Недавно сменил движок и переехал с "заглушки" сделанной на WIX на ВебАсист.

На Виксе, как понимаете, сделать ничего было нельзя. На ВебАсист занялся всем нужным потихоньку, типа метаданных и статей (всё в работе). Но не даёт покоя сабж. Вот прям ничего про это знаю и не понимаю про то, что такое и что там должно быть в этом Robots.txt

Помогите пожалуйста сделать этот Robots.txt для сайта URL="https://viehali.ru"]https://viehali.ru

Спасибо!

Такая ситуация, есть страница http://alsana.kz/catalog/aksessuary_dlya_montazha/ и http://alsana.kz/catalog/aksessuary_dlya_montazha/filter/clear/apply/ они обе в индексе дублируют друг друга, у всех страниц категорий такая ситуация

В роботсе закрыл так Disallow: /*apply/ правильно ли

*/filter/*

можно и так

/*filter/

Добрый день помогите кто чем может настроить более менее правильно файл роботс для ПИ гугла и яндекса

Пациент значит mywebpc.ru

начните с этого

https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html