olpiaz: Понятно. Спасибо. Позвольте я подытожу: Я планировал в robots.txt закрывать все, и потихоньку открывать все то, что считаю необходимым к индексированию. При этом я все равно оставляю мета-тег (изначально - т.е. при заливке на хостинг) для всех тех страниц, которые не хочу индексировать. И как я понял, все равно нет никакой гарантии, что эти страницы не попадут в индекс. И вот я исправно наблюдаю, и если страницы со временем в индекс не попадают - то я ничего не меняю. Если, вдруг, по какой-то неизвестной причине они попали туда, то тогда я разрешаю их (попавшие в индекс страницы) в robots.txt и жду, когда они удалятся из индекса благодаря мета-тегу. Такой подход-алгоритм нормальный, действенный?
Все закроется нормально благодаря метатегу или robots.txt. А то что не закроется можно удалить через быстрое удаление из выдачи в яндексе, после закрытия метатегом или robots.txt
---------- Добавлено 08.04.2015 в 14:36 ----------
Mambaman: Спасибо, за то, что тратите свое время на зеленых! ))) Просто таким образом файл роботса будет "длинною в жизнь" ))) Нашел решение проблемы путем редактирования файла движка сайта. Еще раз спасибо!
olpiaz: Да, этод документ я читал, поэтому и возникают такие вот вопросы %). Т.к. вообще не понятно, каким образом запрет в robots.txt может помешать работе мета-тегу "noindex" в случае попадания бота на страницу, при переходе на нее по ссылке, скажем. Если не мешает, то каким тогда образом страница вообще может попасть в индекс?.. Предполагаю, что это касается уже только страниц ПОПАВШИХ в индекс. В этом случае, ПОСЛЕ добавления мета-тега, конечно, НУЖНО позволить боту обходить сайт по измененным страницам, чтобы он прочитал этот новодобавленный тег и удалил страницу из индекса. Но если изначально посавить запрет и там и там, то по идее ж страница никак не может пролезть в индекс ?..
Или все же лучше в robots.txt вообще никаких запретов не делать, и работать только с мета-тегом, для надежности?
Дело в том, что в поисковой системе Яндекс использование запрета в robots.txt и мета тега name="robots" со значением content="noindex" или content="none" приводят к одинаковому результату: к неиндексированию контента страницы и в большинстве случаев её отсутствию в поиске. Как приоритет я бы рекомендовал использовать метатег, но с ним легче ошибиться, и как по мне он более надежен. У robots.txt есть большой плюс - работать удобнее.
С Google аналогично, для него robots.txt рекомендационный файл. Все зависит от ваших условий.
---------- Добавлено 08.04.2015 в 10:51 ----------
Mambaman: Дабы не создавать новую тему, спрошу здесь. Сегодня чисто случайно заметил, что в выдаче Гугла присутствуют страницы, которых в теории быть не должно. Сайт на DLE. Дело в том, что там находятся страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!! Выглядит так: сайт.ру/1668/11/ (ну и по аналогии). Образовалась ситуация, когда из 6,340 страниц сайта (всего на ресурсе 100 материалов!) не под фильтрами только 3%. Какие могут быть варианты исправления? Все что приходит на ум (не судите строго) - это пропись в Robots.txt
Но на сайте есть урлы типа сайт.ру/12-название-статьи... - такие статье ведь тогда тоже выпадут из индекса... Очень важно не потерять в выдаче нужные странички...
Также в выдаче полно страниц вида сайт.ру/lastnews/page/8/ и сайт.ру/page/... Думаю это убирать через
Буду очень признателен за экспертное мнение! Заранее спасибо!
Disallow: /*1
такие метатеги нужно использовать ооочень аккуратно, это закрытие всей файлов *1*
Sentinel007: У нас такая ситуация, на сайте были ручные санкции за ссылки, в декабре отправили ссылки на отклонение и санкции были сняты, но по трафику вообще никаких изменений не произошло. В чем может быть причина, и возможно ли получить какие то комменты от гугла? Там еще работают живые люди, или только роботы и алгоритмы, которые могут хоть что то сказать?
группировка поисковых подсказок
метрика не стоит на сайте, а могли бы вы подсказать какими сервисами пользуетесь ?
я пробовал индексгатор и гетбот на разных тарифах
гетботом прогонял, wmsn-ом можно попробовать, но он последнюю неделю не работал...
нормально входит через популярные сервисы..
Вебмастер ругается на ошибку 403 к сайту, что не так прописал подскажите? Движок WP.
у Вас юзер-агент для Яндекса полностью идентичен юзер-агенту для всех роботов. Дубль можно удалить. Но причина не robots-е.
Понятно. Спасибо.
Позвольте я подытожу: Я планировал в robots.txt закрывать все, и потихоньку открывать все то, что считаю необходимым к индексированию. При этом я все равно оставляю мета-тег (изначально - т.е. при заливке на хостинг) для всех тех страниц, которые не хочу индексировать. И как я понял, все равно нет никакой гарантии, что эти страницы не попадут в индекс. И вот я исправно наблюдаю, и если страницы со временем в индекс не попадают - то я ничего не меняю. Если, вдруг, по какой-то неизвестной причине они попали туда, то тогда я разрешаю их (попавшие в индекс страницы) в robots.txt и жду, когда они удалятся из индекса благодаря мета-тегу.
Такой подход-алгоритм нормальный, действенный?
Все закроется нормально благодаря метатегу или robots.txt. А то что не закроется можно удалить через быстрое удаление из выдачи в яндексе, после закрытия метатегом или robots.txt
---------- Добавлено 08.04.2015 в 14:36 ----------
Спасибо, за то, что тратите свое время на зеленых! )))
Просто таким образом файл роботса будет "длинною в жизнь" )))
Нашел решение проблемы путем редактирования файла движка сайта. Еще раз спасибо!
Самое верное решение ☝
Вот поэтому и спрашиваю совета, как поступить...
А закрытие
Disallow: /page/
Disallow: /lastnews/
Можно спокойно делать?
как я понимаю, 3 вопроса:
1) закрыть страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!!
Выглядит так: сайт.ру/1668/11/ (ну и по аналогии).
Disallow: /1668/
Disallow: /1785/
и тд
2) закрыть сайт.ру/lastnews/page/8/ и сайт.ру/page/...
Disallow: /page/
Disallow: /lastnews/
3) и оставить открытыми:
сайт.ру/12-название-статьи..
Рекомендация:
Allow: /12-название-статьи..
Да, этод документ я читал, поэтому и возникают такие вот вопросы %). Т.к. вообще не понятно, каким образом запрет в robots.txt может помешать работе мета-тегу "noindex" в случае попадания бота на страницу, при переходе на нее по ссылке, скажем. Если не мешает, то каким тогда образом страница вообще может попасть в индекс?.. Предполагаю, что это касается уже только страниц ПОПАВШИХ в индекс. В этом случае, ПОСЛЕ добавления мета-тега, конечно, НУЖНО позволить боту обходить сайт по измененным страницам, чтобы он прочитал этот новодобавленный тег и удалил страницу из индекса. Но если изначально посавить запрет и там и там, то по идее ж страница никак не может пролезть в индекс ?..
Или все же лучше в robots.txt вообще никаких запретов не делать, и работать только с мета-тегом, для надежности?
Дело в том, что в поисковой системе Яндекс использование запрета в robots.txt и мета тега name="robots" со значением content="noindex" или content="none" приводят к одинаковому результату: к неиндексированию контента страницы и в большинстве случаев её отсутствию в поиске. Как приоритет я бы рекомендовал использовать метатег, но с ним легче ошибиться, и как по мне он более надежен. У robots.txt есть большой плюс - работать удобнее.
С Google аналогично, для него robots.txt рекомендационный файл. Все зависит от ваших условий.
---------- Добавлено 08.04.2015 в 10:51 ----------
Дабы не создавать новую тему, спрошу здесь.
Сегодня чисто случайно заметил, что в выдаче Гугла присутствуют страницы, которых в теории быть не должно. Сайт на DLE.
Дело в том, что там находятся страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!!
Выглядит так: сайт.ру/1668/11/ (ну и по аналогии).
Образовалась ситуация, когда из 6,340 страниц сайта (всего на ресурсе 100 материалов!) не под фильтрами только 3%.
Какие могут быть варианты исправления?
Все что приходит на ум (не судите строго) - это пропись в Robots.txt
Но на сайте есть урлы типа сайт.ру/12-название-статьи... - такие статье ведь тогда тоже выпадут из индекса... Очень важно не потерять в выдаче нужные странички...
Также в выдаче полно страниц вида сайт.ру/lastnews/page/8/ и сайт.ру/page/...
Думаю это убирать через
Буду очень признателен за экспертное мнение! Заранее спасибо!
Disallow: /*1
такие метатеги нужно использовать ооочень аккуратно, это закрытие всей файлов *1*
вы закроете им:
/0001.html
/1000.html
/текст1текст.html
и другие страницы с единицей..
У нас такая ситуация, на сайте были ручные санкции за ссылки, в декабре отправили ссылки на отклонение и санкции были сняты, но по трафику вообще никаких изменений не произошло.
В чем может быть причина, и возможно ли получить какие то комменты от гугла?
Там еще работают живые люди, или только роботы и алгоритмы, которые могут хоть что то сказать?
проводятся вебинары для вебмастеров от Google, можете задать там вопрос
Смысла в санкциях никакого. Алгорим ручных санкций был бесполезный - отклоняешь все ссылки и позиции возрастают на прежний уровень.
как итог: сеошники получили работу, владельцы получили проблем, предприимчивые люди заработали на программах, алгоритмах по снятию фильтра и тд..
bulatbulat48 в отчете каким числом датировано, до или после снятия запрета?
После снятия запрета, бот скачал свежий роботс и прошла новая аналитика по заблокированным ресурсам. Это-то и странно.
Что-то пошло не так 😂 ждите тогда, если все верно делаете ошибки исчезнут