Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt или .htaccess вопрос о составлении

12
M0
На сайте с 28.10.2011
Offline
103
msv09
1142

Может очередной, может и нет, но вопрос, возникла проблема, не знаю откуда ноги растут, но в роботсе надо срочно запретить индексацию.

Проблема вот какая, есть страница

/about.html

каким-то образом стали индексироваться в яндексе тьма ссылка с дописками типа таких

/about.html/articles/blog/manufacture/aeg/manufacture/ada/manufacture/nikon/manufacture/testo/

Как такое и откуда не знаю.

Вопрос, как можно в роботсе прописать, что все, что идет после .html не индексировалось

или как сделать в .htaccess, что есть после .html что-то добавляют/дописывают или ставят в конце, то был бы редирект обратно на .html

на сайте информационные разделы имеют вид .html, другие страницы разделы, например, статьи, товары и категории имеют вид чпу без .html, т.е просто /articles/chto-takoe-nivelir-material-iz-spravochnika/

Очень буду благодарен за ответ, а то яндекс начал слишком много такого кала индексировать, причем началось недавно. (((

Боюсь как бы ни повлияло это на результат в худшую сторону

abst
На сайте с 14.01.2011
Offline
136
abst
#1

Вы читали написанное перед отправкой?

Облачные VPS с SSD (https://goo.gl/Z2PT6u) от 150 руб. ДЦ в МСК и СПБ. Utpime 99.9%. 100 рублей на тест в подарок!
Respayn
На сайте с 04.03.2013
Offline
35
Respayn
#2

На плохой результат у него повлияло - молодец!

Лучше уберите ссылки со страницы чё ерундой страдать

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#3

если роботс

Disallow: /*.html/

если htaccess

RewriteEngine On #(или добавить после RewriteEngine On)

RewriteRule ^(.+\.html)/ /$1 [R=301,L]

M0
На сайте с 28.10.2011
Offline
103
msv09
#4

Respayn, хахаха, смешно!

AR
На сайте с 01.04.2012
Offline
78
And-rey
#5
siv1987:
Disallow: /*.html/

если htaccess
RewriteEngine On #(или добавить после RewriteEngine On)
RewriteRule ^(.+\.html)/ /$1 [R=301,L]

думаю эти конструкции заблочут всё на свете. Ведь наверняка есть куча нужных других страниц, оканчивающихся на .html) ТС, что там за движок такой у вас стоит. Откуда плодится после... такое ответвление?

M0
На сайте с 28.10.2011
Offline
103
msv09
#6
And-rey:
думаю эти конструкции заблочут всё на свете. Ведь наверняка есть куча нужных других страниц, оканчивающихся на .html) ТС, что там за движок такой у вас стоит. Откуда плодится после... такое ответвление?

стоит webasyst такие дубли не знаю откуда пошли, ранее ничего подобного не индексировалось или по крайней мере не замечалось

AR
На сайте с 01.04.2012
Offline
78
And-rey
#7

жесть... откуда вы такие движки берёте, кто рекомендует? Ну есть же бесплатные всякие магазины, работающие на всяких джумла, вордпресс. Плюс в перечисленных - многотысячная аудитория пользователей, состоящая из любителей и профи. Т.е. на любую поломку или вопрос ответ можно получить за минуту=)

По вашей проблеме ковырятся надо. Проверьте свой robots.txt... я вот кое-чего нашёл в сети для этого WebAsyst:

User-agent: Yandex
Disallow: mysite.ru/address_book/
Disallow: /cgi-bin/
Disallow: /data/
Disallow: /dblist/
Disallow: /images/
Disallow: /includes/
Disallow: /kernel/
Disallow: /login/
Disallow: /materials/
Disallow: /shop/
Disallow: /system/
Disallow: /published/
Disallow: /temp/
Disallow: /help/
Disallow: /installer/
Disallow: /en/
Disallow: /orpfus/
Disallow: /pma/
Disallow: /*?from=
Disallow: /*sort=*
Disallow: /*view=*
Disallow: /*_slug=*
Disallow: */search
Disallow: */category_search
Disallow: */auth
Disallow: /cart
Disallow: */checkout
Disallow: */feedback
Disallow: */installer
Disallow: */login
Disallow: */logout
Disallow: */myaccount
Disallow: */order_status
Disallow: */published/SC/html/scripts/
Disallow: */published/wbsadmin/
Disallow: */register
Disallow: */remind_password
Disallow: /*phpsessid*
Disallow: /*PHPSESSID*
Disallow: */login.php
Disallow: *linkexchange*
Disallow: */admin.php
Disallow: */auth.php
Disallow: */forgot.php
Disallow: */order_history*
Disallow: */myaccount*
Disallow: */contact_info*
Disallow: /ajax.php
Disallow: /ajaxhandler.php
Disallow: *published*
Disallow: *vkontakte*
Disallow: *facebook*
Disallow: /artchin.tgz
Disallow: /callback.php
Disallow: /callback.txt
Disallow: /dbInven.sql
Disallow: /domxml-php4-to-php5.php
Disallow: /index.html_old
Disallow: /opt-autorisation.php
Disallow: /install.js
Disallow: /install.log
Disallow: /install.php_old
Disallow: /license.txt
Disallow: /phpinfo.php
Disallow: /readme.txt
Disallow: /settings.xml
Disallow: /setupguide.htm
Disallow: /showdblist.php
Disallow: /showmucontent.php
Disallow: /style1.css
Disallow: *sitemap.php?*
Disallow: *reviews*
Disallow: *blog*
Disallow: *pricelist*
Disallow: */compare*
Disallow: */auxpage*
Disallow: */offset*
Disallow: */all/*
Host: mysite.ru

Смотрю файл содержит отсечение всех возможных дублей-недублей и подобного =)) Мама родная, здесь более 30 неведанных мне Disallow))

п.с. http://www.miraweb-studio.ru/blog/2012/11/2.html

M0
На сайте с 28.10.2011
Offline
103
msv09
#8

Система платная, в принципе после небольшого напильника свою начальную функцию несет нормально. косяков конечно в ней много, но куда без них..

And-rey приведенный вами роботс, это чье-то собственное извращение. У меня все проще.

Ссылка хорошая, полезная, но у меня дубли идут из-за проблемы с .html/ именно после него целая цепочка плодиться ссылок.

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#9
And-rey:
думаю эти конструкции заблочут всё на свете. Ведь наверняка есть куча нужных других страниц, оканчивающихся на .html) ТС, что там за движок такой у вас стоит. Откуда плодится после... такое ответвление?

Плохо думаете. Посмотрите на запрет и еще раз подумайте что он заблочит и с каким окончанием.

msv09:

Ссылка хорошая, полезная, но у меня дубли идут из-за проблемы с .html/ именно после него целая цепочка плодиться ссылок.

msv09, вам уже посоветовали два варианта, и с htaccess и с robots. Откройте глаза.

M0
На сайте с 28.10.2011
Offline
103
msv09
#10

siv1987 спасибо, htaccess работает, только что проверил. Вроде все как надо, сначала побоялся из-за поста And-rey, но вроде сделал и все такие кривые ссылки отбрасываются.

А вот роботс боюсь, точно ничего лишнего не закрою от индекса?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий