Все вопросы по robots.txt

W
На сайте с 05.03.2014
Offline
8
#291

Вот у меня такая проблема:

У меня есть новостной сайт, довольно таки популярный и для каждого региона есть свой поддомен. Все новости видны во всех доменах.

Страницы быстро индексируются и так же быстро выпадают из индекса, точнее заменяются другими страницами из другого поддомена, не из основного. В гоугетлинкс из-за этого возникают проблемы. Как закрыть индексацию на других поддоменах? При этом надо закрыть страницы типа http://поддомен.домен.ру/news/* , а http://поддомен.домен.ру/ должен индексироваться.

B4
На сайте с 27.04.2012
Offline
94
#292
Nikkin:
Страница: /support/partner/ - должна быть открыта
Подстраницы: /support/partner/все-что-угодно - должны быть закрыты

как это прописать в роботсе, друзья?

User-agent: *

Disallow: /support/partner/

Allow: /support/partner/$

---------- Добавлено 13.01.2015 в 18:01 ----------

wssmedia:
Вот у меня такая проблема:
У меня есть новостной сайт, довольно таки популярный и для каждого региона есть свой поддомен. Все новости видны во всех доменах.
Страницы быстро индексируются и так же быстро выпадают из индекса, точнее заменяются другими страницами из другого поддомена, не из основного. В гоугетлинкс из-за этого возникают проблемы. Как закрыть индексацию на других поддоменах? При этом надо закрыть страницы типа http://поддомен.домен.ру/news/* , а http://поддомен.домен.ру/ должен индексироваться.

В поддомен кладете robots.txt:

User-agent: *

Disallow: /news/

N
На сайте с 25.07.2013
Offline
36
#293

bulatbulat48, спасибо!

G
На сайте с 16.08.2012
Offline
20
#294

у меня файл робот тхт такого вида

User-agent: *

Disallow: /*.swf

я из яндекса удалил ненужные проиндексированные swf и они удалились, сегодня захожу и они опять в поиске проиндексировались,почему они опять проиндексировались ошибка в робот файле или где?

B4
На сайте с 27.04.2012
Offline
94
#295
grafillo:
у меня файл робот тхт такого вида
User-agent: *

Disallow: /*.swf


я из яндекса удалил ненужные проиндексированные swf и они удалились, сегодня захожу и они опять в поиске проиндексировались,почему они опять проиндексировались ошибка в робот файле или где?

Роботс верный, я бы добавил $:

User-agent: *

Disallow: /*.swf$

Robots.txt для поисковых систем, только рекомендация, они могут индексировать файлы, даже если они запрещены.

DE
На сайте с 11.06.2011
Offline
26
#296

Все заработался называется: правильно же:

Сайт с базой резюме, каждое резюме это номер ИД - например: сайт/resumes/companion/1337/, сайт/resumes/companion/1338/ и т.д.

Мне нужно чтоб категория индексировалось, а резюме сами нет ( цифры это как раз резюме каждого )

User-agent: *

Disallow: /resumes/companion/

Allow: /resumes/companion/$

Disallow: /resumes/marrieds/

Allow: /resumes/marrieds/$

и так далее

Правильно ?

B4
На сайте с 27.04.2012
Offline
94
#297
DsElmo:
Все заработался называется: правильно же:

Сайт с базой резюме, каждое резюме это номер ИД - например: сайт/resumes/companion/1337/, сайт/resumes/companion/1338/ и т.д.
Мне нужно чтоб категория индексировалось, а резюме сами нет ( цифры это как раз резюме каждого )

User-agent: *
Disallow: /resumes/companion/
Allow: /resumes/companion/$
Disallow: /resumes/marrieds/
Allow: /resumes/marrieds/$
и так далее

Правильно ?

правильно :)

Alexplague
На сайте с 11.09.2013
Offline
66
#298

Ребята выручайте, сайт очень медленно заходит в поиск может по 2 месяца не индексировать. Контент добавляется только уникальный, добавляется довольно часто, возраст домена больше 10 лет. Может с роботс я что-то накосячил?

---------- Добавлено 26.01.2015 в 11:36 ----------

Ах да сайт забыл написать http://kurantynew.ru/

---------- Добавлено 26.01.2015 в 11:36 ----------

Ах да сайт забыл написать http://kurantynew.ru/

B4
На сайте с 27.04.2012
Offline
94
#299
Alexplague:
Ребята выручайте, сайт очень медленно заходит в поиск может по 2 месяца не индексировать. Контент добавляется только уникальный, добавляется довольно часто, возраст домена больше 10 лет. Может с роботс я что-то накосячил?

---------- Добавлено 26.01.2015 в 11:36 ----------

Ах да сайт забыл написать http://kurantynew.ru/

---------- Добавлено 26.01.2015 в 11:36 ----------

Ах да сайт забыл написать http://kurantynew.ru/

покажите новость которая долго не заходит в индекс?

Alexplague
На сайте с 11.09.2013
Offline
66
#300

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий