- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
как закрыть вообще индексацию всего что начинается на feedback.aspx......
Disallow: */feedback.aspx
так?:popcorn:
как закрыть вообще индексацию всего что начинается на feedback.aspx..
Вот так:
Disallow: /feedback.aspx
Если feedback.aspx встречается не только в корне, то так:
Disallow: /*feedback.aspx
Вот так:
Disallow: /feedback.aspx
Если feedback.aspx встречается не только в корне, то так:
Disallow: /*feedback.aspx
спасибо 🙄
Вот так:
Disallow: /feedback.aspx
Если feedback.aspx встречается не только в корне, то так:
Disallow: /*feedback.aspx
а почему не так:
Disallow: *feedback.aspx
?
Disallow: /*feedback.aspx
а почему не так:
Disallow: *feedback.aspx
?
Оба запретят любые URL c feedback.aspx, вклюая что-то вроде /catalog/feedback.aspx/node/item.php?blahblah
Должно запретить любые URL начинающиеся с feedback.aspx, к примеру /feedback.aspx/node/item.php?blahblah
Но лучше делать так:
Если нужно запретить все URL, содержащие именно файл feedback.aspx (не каталог!) со всеми возможными параметрами, то делается так:
Только файлы с именами типа anotherfeedback.aspx тоже будут исключаться.
Если хотите сделать как по учебнику можно извратиться так:
Пожалуй, это единственный кошерный вариант. :-)
Disallow: feedback.aspx? # знак вопроса - в случае дополнительных параметров
Disallow: feedback.aspx$ # символ окончания строки в случае отсутствия доппараметров
Только файлы с именами типа anotherfeedback.aspx тоже будут исключаться.
Не будут они исключаться, это ваши фантазии.
Есть мнение, что все урлы у всех сайтов начинаются на /
И если у вас нет ни / ни * в начале, то директивы не сработают никогда. Вот такая засада.
Есть мнение, что все урлы у всех сайтов начинаются на /
И если у вас нет ни / ни * в начале, то директивы не сработают никогда. Вот такая засада.
Начинаются, и чо? Робот проверяет вхождение, а не соблюдение вами стандартов.
Робот проверяет вхождение
Давайте посмотрим. Надеюсь, что все выделенные слова вам понятны:
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.
Вот слово starts with и означает "начинаются с". Вот вам и "чо", через плечо.
Если слова непонятны, попробуйте в сервис Яндекса сунуть хост www.probkovorot.info и URL http://www.probkovorot.info/news/razvyazka-kosino-mkad/
При наличии строки в robots.txt
Disallow: news
Получите вот что:
Используемые секции
Строка Сообщение
5: Disallow: news
Правило начинается не с символа '/' и не с символа '*'
URL Результат
http://www.probkovorot.info/news/razvyazka-kosino-mkad/ разрешен
Получите вот что:
Я уже привёл наиболее корректный вариант, не понимаю к чему вы затеяли этот спор.
На robots.txt нет стандарта. А ваша проверялка хавает и урлы с километровыми слешами подряд. И чо? В хелпе Яндекса приведены проверенные примеры которые точно будут работать. Им лучше и следовать, остальное - догадки и предположения.
Признаю ошибку только там где я указал о вхождении в любом месте. Таки да, робот это должен считать началом строки.
К слову, урл начинается не со слэша, а с указания схемы. А часть урла - урл-пас не включает ни слеш, ни get параметры. Поэтому если вы уж начали заниматься буквоедством, то давайте признаем что дока на которую вы ссылаетесь написана технически неграмотно. Но это бессмысленный флуд и спам, в который я ввязыватсья не собираюсь.
В хелпе Яндекса приведены проверенные примеры которые точно будут работать.
Там нет ни одного примера, где бы Disallow с непустым параметром не начинался бы со слеша.
Там нет ни одного примера, где бы Disallow с непустым параметром не начинался бы со слеша.
Я где-то писал что там есть такой пример? Я писал о том что лучше смотреть в доку Яндекса, а не в доку разработчика robots.txt, потому что они носят рекомендательный характер.