Форум Практика оптимизации Любые вопросы от новичков по оптимизации

помогите с составлением robots.txt

S
На сайте с 27.06.2013
Offline
55
shinydo
366

через программу Xenu выявил битые ссылки.

Что бы удалить из индекса гугл говорит что их нужно закрыть от индексации в роботс.

Дело в том что в каталогах у меня есть и норм ссылки и битые - вот пример:

- http://site.ru/ru/produs//2009/?cat=62 - битая ссылка

- http://site.ru/ru/produs//2009/?cat=63 - норм ссылка

битых ссылок у меня много, почти сотня, так что я не знаю как правильно закрыть их.

прописывать в роботс каждую ссылку с Disallow: ?

п.с буду очень признателен за помощь.

A
На сайте с 18.04.2013
Offline
96
amelta
#1
shinydo:
Что бы удалить из индекса гугл говорит что их нужно закрыть от индексации в роботс.

не обязательно и даже не нужно их закрывать. Отдавай хотя бы корректно 404 ошибку.

Сами отпадут.

S
На сайте с 27.06.2013
Offline
55
shinydo
#2
amelta:
не обязательно и даже не нужно их закрывать. Отдавай хотя бы корректно 404 ошибку.
Сами отпадут.

многие из них дубли других страниц. Движок сайта какой то самописный и после их удаления, вместо 404 выводится какая то хрень, а страницы - гугл уже как то индексировал ... вот и не знаю что делать.

п.с - файла роботс вообще нету )) так что его сделать всё равно придется.

Секреты индексации динамических страниц Джон Мюллер рассказал, как В Яндексе рассказали, как
A
На сайте с 18.04.2013
Offline
96
amelta
#3
shinydo:
п.с - файла роботс вообще нету )) так что его сделать всё равно придется.

проверить корректность роботса ты можешь в панели вебмастера.

Что стоит сделать в твоем случае - обратиться к программисту, чтобы он настроил корректный ответ сервера в случае возникновения битых ссылок. А именно заголовок 404.

K
На сайте с 27.12.2011
Offline
28
kreidar
#4

Сделай все как тут написано http://help.yandex.ru/webmaster/?id=996567 и будет тебе счастье 🍿

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий