robots.txt или .htaccess вопрос о составлении

msv09 · 2013-06-29T17:09:06.0000000Z

Может очередной, может и нет, но вопрос, возникла проблема, не знаю откуда ноги растут, но в роботсе надо срочно запретить индексацию. Проблема вот какая, есть страница /about.html каким-то образом стали индексироваться в яндексе тьма ссылка с дописками типа таких /about.html/articles/blog/manufacture/aeg/manufacture/ada/manufacture/nikon/manufacture/testo/ Как такое и откуда не знаю. Вопрос, как можно в роботсе прописать, что все, что идет после .html не индексировалось или как сделать в .htaccess, что есть после .html что-то добавляют/дописывают или ставят в конце, то был бы редирект обратно на .html на сайте информационные разделы имеют вид .html, другие страницы разделы, например, статьи, товары и категории имеют вид чпу без .html, т.е просто /articles/chto-takoe-nivelir-material-iz-spravochnika/ Очень буду благодарен за ответ, а то яндекс начал слишком много такого кала индексировать, причем началось недавно. ((( Боюсь как бы ни повлияло это на результат в худшую сторону

427

siv1987

30 июня 2013, 14:08

#11

msv09:

А вот роботс боюсь, точно ничего лишнего не закрою от индекса?

Закроете /*.html/

У нормальных ссылок после .html нет /

334

TF-Studio

30 июня 2013, 14:15

#12

А не проще просто баги исправить у движка?

Чтобы на такие страницы 404 отдавал.

Всё ещё лучший способ заработка для белых сайтов: GoGetLinks (https://www.gogetlinks.net/?inv=fahbn8).

M0

103

msv09

30 июня 2013, 19:53

#13

TF-Studio:
А не проще просто баги исправить у движка?
Чтобы на такие страницы 404 отдавал.

На данный момент надо избавиться от такой проблемы, а дальше конечно от этого косяка, его раньше не было, значит надо выискивать проблемы среди доработок, а это время. Чтобы не плодились в яндексе они, вот для этого и делается сейчас такая процедура

SeriousPartner.ru v.3 - Эволюция Новая морда SAPE Сайт на HTML поставить

142

abst

30 июня 2013, 20:44

#14

msv09:

А вот роботс боюсь, точно ничего лишнего не закрою от индекса?

загружаете в ЯВМ роботс (http://webmaster.yandex.ru/robots.xml) и проверяете конкретные url, если закрыли что-то лишнее, там будет написано, что url заблокирован.

Облачные VPS с SSD/NVME в РФ и Нидерландах ( https://firstvds.ru/?from=1141954 ) от 219 рублей в месяц. Скидка 25% на первый заказ по промокоду - 6481141954

Зачем быть уникальным в мире, где все можно скопировать

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи