- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Чтобы боты даже не пытались туда стучаться - профилактика в виде robots
Во-первых, лучше писать конкретно: боты ПС.
Во-вторых, если для яндекса это как-то сработает, то для гугла может только помешать.
Во-вторых, ...для гугла может только помешать.
Почему?
Действительно интересно.
Почему?
Действительно интересно.
Это написано в документации гугла. Например:
Этот файл запрещает сканирование страниц, а не их индексацию. Поэтому, если страница появилась в поиске из-за наличия внешних ссылок, то запрет на сканирование её в роботсе может помешать исключению из индекса, поскольку гугл не увидит ни редиректа, ни метатега, ни каноникал, так как вообще не будет заходить на эту страницу. Таким образом, никакого "комплексного" решения не получится.
В яндексе это вроде как иначе работает.
так как вообще не будет заходить на эту страницу
Что и требовалось.
Если Вам этого не требовалось, то это другой случай.
Что и требовалось.
Если Вам этого не требовалось, то это другой случай.
Чтобы исключить страницу из индекса, поскольку там есть каноникал, ноуиндекс или редирект, нужно зайти на эту страницу.
Если Вам этого не требовалось, то это другой случай.
Чтобы исключить страницу из индекса, поскольку там есть каноникал, ноуиндекс или редирект, нужно зайти на эту страницу.
Если Вам этого не требовалось, то это другой случай.
Та просто пару раз по дурости генерировалась тьма дублей (не с //). Эффективней запретить на корню на будущее даже.
А также на некоторых страницах был noindex и каноникал, но страница была в СЕРПе. Под рукой примера нет.
Ну и экономия бюджета.
Disallow: /*//
Для морды - это закрывание с тройным слешем, а не с двойным.
Disallow: *// # запрет двойного (и тройного тоже) в любом месте любых урлов.
Чтобы боты даже не пытались туда стучаться
Сначала такие логи покажите... а потом дуйте на воду.
Не получалось у меня скормить ботам (и яндекс в этом был опять похож на гугл) урлы, отличавшиеся количеством слешей в конце... они говорили, что такой урл уже есть в индексе.
Сначала такие логи покажите... а потом дуйте на воду.
Сорян. Я говорил более в общем о запрете в robots, а не именно //
А так nginx к примеру в логе 404 записывает адрес с одним /