- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день, коллеги.
В robots.txt прописана директива Disallow: /search и с таких страниц настроен 301 редирект, однако эти страницы все равно в индексе, согласно нетпик спайдеру. Например, https://clumus.com/ru/search/destination/Russia//?page=4
Также страницы загрузки файлов закрыты в роботсе Disallow: /file.php, но страница https://clumus.com/ru/file.php?id=61300&download все равно в индексе.
С чем это может быть связано?
Disallow: /search... Например, https://clumus.com/ru/search/destination/Russia//?page=4
https://clumus.com/ru/file.php?id=61300&download все равно в индексе.
С чем это может быть связано?
С /ru/
Сделайте
Либо Disallow: /ru/search
либо Disallow: /*search
И для Яндекса у вас задан отдельный блок правил
https://clumus.com/robots.txt
Который вообще ничего не запрещает
чтобы убедиться, что страница действительно закрыта от индексации - в Вебмастерах как яндекса, так и гугла можно в окошко Роботса вбивать варианты, а потом вписывать пример урла, который нужно закрыть, в соответствующее поле и кликать "проверить урл".
Большое спасибо за полный и быстрый ответ на мой вопрос. Про эксперименты с роботсом в вебмастере я узнал буквально вот час назад. Эксперименты также показали, что конструкция Disallow: */search, работает так же, как и предложенная вами Disallow: /*search. Есть ли между ними какая либо разница?
Без разницы
Эксперименты также показали, что конструкция Disallow: */search, работает так же, как и предложенная вами Disallow: /*search. Есть ли между ними какая либо разница?
разница есть.
Конструкция вида /*search может запретить страницы вида /ilovesearchengines
если они у вас есть на сайте. Поэтому конкретно в вашем случае только */search
А все индексировалось в Яндексе из-за того, что вам выше сказали - для робота Яндекса не было запретов.
Ясно. Тогда у меня еще вопрос. ru/ на сайте появилось, потому что он планируется, как мультиязычный. Соответственно на текущий момент у нас контент практически дублируется. Потому что на каждую страницу site.com/category/ приходится своя страница site.com/ru/category/. Считаются ли эти страницы дублями?
Даниил Сугаков, http://support.yandex.ru/support/webmaster/yandex-indexing/locale-pages.xml
Потому что на каждую страницу site.com/category/ приходится своя страница site.com/ru/category/. Считаются ли эти страницы дублями?
если эти страницы отдают одинаковый контент, то это дубли. Я не могу знать что конкретно у вас не видя сайт