Все вопросы по robots.txt - 2

Avatar 61
#41

Всем привет ситуация такая:

товары были здесь

site.net/kategory/tovar

стали здесь

site.net/newkategory/kategory/tovar

Как закрыть в robots старые пути товаров УРЛ site.net/kategory/ ?

пробовали так:

Disallow: http://site.net/kategory/*

но сервис проверки показывает, что товар по адресу site.net/kategory/tovar доступен.

Avatar 88
#42
Anibrut:

Disallow: http//site.net/kategory/*
но сервис проверки показывает, что товар по адресу site.net/kategory/tovar доступен.

Адрес домена лишний

Так попробуйте:

Disallow: /kategory/

Если у /kategory/ разные названия, тогда новые категории не перекроете. Проверьте в вебмастере

Если названия /kategory/ одинаковые, то поставить ещё и

Allow: /newkategory/kategory/

А вообще, если названия /kategory/ одинаковые продуктивнее редирект сделать по маске со всех страниц старого раздела на все страницы нового.

Avatar 117
#43

Есть урл с гет-параметрами, допустим, site.ru/cat/?id=123.

В robots.txt используется секция:

Clean-param: id *

Для страницы site.ru/cat/?id=123 прописан мета-тег:

<meta name="robots" content="noindex, follow"/>

Для страницы site.ru/cat/ такой мета-тег не прописан.

Вопрос: при такой конструкции не выкинет ли Яндекс страницу site.ru/cat/ из индекса?

MATRAS.RU (https://www.matras.ru/) — интернет-магазин матрасов и товаров для сна
Avatar 61
#44

manic, спасибо, все отлично получилось роботсом. Ждем теперь как будет себя вести статус индексирования а то вверх пополз конкретно.

Еще вот такой маленький нюанс в роботсе написано сначала все Disallow: потом все Allow: ну как всегда а тут новые слелали так: Disallow: Allow: Disallow: Allow: Disallow: Allow: ничего страшного?

Q2 118
#45

Привет.

Есть сайт на DLE, название: sait.ru у него есть robots.txt вот такой:

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

И вот сегодня в поиске яндекса по непонятным причинам вылез такой сайт main.sait.ru, который точная копия моего сайта, а по сути, является зеркалом основного моего сайта.

То есть, получается, что мой почтовый домен каким-то образом стал сайтом. Служба поддержки хостинга говорит, что си панель что-то начудила и рекомендует сделать редирект в файле .htaccess на основной сайт. Редирект то я сделал, теперь идёт перенаправление на мой основной сайт. А как указать в robots.txt чтобы сайт main.sait.ru не индексировался, а индексировался основной сайт sait.ru

Avatar 88
#46
qwerty2009:
Привет.
А как указать в robots.txt чтобы сайт main.sait.ru не индексировался, а индексировался основной сайт sait.ru

Своим роботсом в корне поддомена, если такая папка создалась.

Зеркало могло создаться через а-запись домена. Проверьте, нет ли лишней.

0 2
#47

Всем доброго времени суток!

Подскажите пожалуйста - мне надо временно полностью закрыть сайт от индексации.

Я на всех страницах сайта в поле head автоматом разместил -

<head>

<meta name="robots" content="noindex,nofollow" />

<head>

а в робот.тхт написал -

User-agent: *

Disallow:

Правильно ли я закрыл сайт от ботов и индексации.

Спасибо большое!

Avatar 0
[Удален]
#48

Нет, это клиника. Достаточно было

Disallow: /

Блин тут вообще пациенты читают инструкции?

0 2
#49
Miha Kuzmin (KMY):
Нет, это клиника. Достаточно было

Disallow: /

Блин тут вообще пациенты читают инструкции?

Можно ответить мне прямо, если уж взялись за клаву? Моя задача по закрытию всего сайта от ботов выполнена или нет?

А то написали про "клинику", и про "достаточно было", а зачем? Целепологание то есть?

Я вроде о другом спрашивал...

Не знаете прямого ответа, так и не сбивайте людей с толку. И без таких пациентов, голова кругом...

Avatar 0
[Удален]
#50

Пациент, вам дали прямой и единственный безбажный способ закрыть сайт от индексации. Если бы вы хотя бы инструкцию по robots.txt прочитали, настолько глупых вопросов бы не возникало.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий