Все вопросы по robots.txt

[Удален]
#921

Для начала определитесь, что тогда вы подразумеваете под дубликатами. Потом - в первый пост темы, там все подробно расписано.

Andrei
На сайте с 22.10.2012
Offline
76
#922
что тогда вы подразумеваете под дубликатами

без комментариев.

v_ovan
На сайте с 14.05.2008
Offline
165
#923
bendernative:
Miha Kuzmin (KMY), разве не видно что они индексируются Яндексом? Избавиться от дубликатов моя цель.

Вам нужно найти что-то общее в тех урл, которые вы хотите закрыть от индексации. Например, все, у которых присутствует номер страницы.

Disallow: *page=*

Горящие туры (https://teplo.ru/)
S1
На сайте с 04.08.2010
Offline
56
#924
Miha Kuzmin (KMY):
SMAX1, повлияет. А нужно всего то в коде прописать, чтобы на такие запросы 404 выдавалось.

Как это сделать ?

[Удален]
#925
v_ovan:
Вам нужно найти что-то общее в тех урл, которые вы хотите закрыть от индексации. Например, все, у которых присутствует номер страницы.

Disallow: *page=*

Ага, и при этом не убить нафиг все остальное)))

SMAX1:
Как это сделать ?

Пойти в платный раздел и нанять прогера.

v_ovan
На сайте с 14.05.2008
Offline
165
#926
Miha Kuzmin (KMY):
Ага, и при этом не убить нафиг все остальное)))

Мы разным людям отвечали. У одного дубли главной, у другого подборка по фильтрами жить спокойно не дает. Подборке по фильтрами зачем 404 отдавать, ее же и посетителю будет отдавать.

[Удален]
#927
v_ovan:
Подборке по фильтрами зачем 404 отдавать, ее же и посетителю будет отдавать.

Причем тут 404 не понял, но, кстати, отдача 404 никак не влияет на отдачу контента. То есть юзер увидит.

S1
На сайте с 04.08.2010
Offline
56
#928
Miha Kuzmin (KMY):
Ага, и при этом не убить нафиг все остальное)))

Пойти в платный раздел и нанять прогера.

Все криворукие там

[Удален]
#929

SMAX1, ну вы то с прямыми руками? Вот и сделайте 😂

zhurikzzz
На сайте с 16.09.2012
Offline
101
#930

Кстати, насчет:

Disallow: /*?*

Disallow: /*?

Это же одно и то-же.

Достаточно только Disallow: /*?

Звездочка обозначает любой набор символов, она по умолчанию учитывается в конце правила, даже если ее там нет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий