Правильно закрыть дубль в роботсе от гугла

12
yCorp
На сайте с 22.10.2012
Offline
8
#11

На практике показывает на оборот.

Однако, я закрываю все не нужные файлы или страницы от индексации в роботе и они пропадают.

К примеру:

Disallow: /*page/

Disallow: /page/

А там куча страниц, которые попусту не нужны... За неделю он убрал все эти страницы, а их больше 1000. Для яндекса есть альтернатива в виде noindex, но в гугле в основном на данные в виде закрытия от индекса ставят именно в роботе.

Могу скинуть примеры сайтов моих которые закрыты от индексации и уже пол года так висят. С помощью только робота. Таких сайтов у меня больше 200!

Добавляю.

При проверке кеша гугла с закрытом в роботе сайтом, выдается 404. That’s an error.

А при проверке сайта в поиске: Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее...

YourDesign.pro - Дизайн сайтов, интерьера, 3D объектов, визиток, плакатов, тендеров и мн. другое. YourBrand.pro - Брендинг, идея создания и продвижение бренда, продажа доменых имен. YourMarketing.pro - Продвижение, реклама, разработка схемы продвижения бизнеса и сайта. ------------------ Корпорация yCorp
B
На сайте с 09.06.2012
Offline
58
#12

На практике гугл вообще что хочет то и делает, поэтому лучший способ избавиться от дублей это не плодить их изначально. Вот еще неплохая статья по поводу дублей http://alaev.info/blog/post/3013

yCorp
На сайте с 22.10.2012
Offline
8
#13

Опять таки это не известно, но на практике повторюсь... На ранжирование не влияет))) Делаем выводы

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий