bulatbulat48

Рейтинг
94
Регистрация
27.04.2012
Тема для сбора нововведений в яндексе.

группировка поисковых подсказок

png group.png
где быстробот яндекса
spool:
метрика не стоит на сайте, а могли бы вы подсказать какими сервисами пользуетесь ?
я пробовал индексгатор и гетбот на разных тарифах

гетботом прогонял, wmsn-ом можно попробовать, но он последнюю неделю не работал...

где быстробот яндекса

нормально входит через популярные сервисы..

Вопрос с robots.txt
Okaay:
Вебмастер ругается на ошибку 403 к сайту, что не так прописал подскажите? Движок WP.

у Вас юзер-агент для Яндекса полностью идентичен юзер-агенту для всех роботов. Дубль можно удалить. Но причина не robots-е.

Все вопросы по robots.txt
olpiaz:
Понятно. Спасибо.
Позвольте я подытожу: Я планировал в robots.txt закрывать все, и потихоньку открывать все то, что считаю необходимым к индексированию. При этом я все равно оставляю мета-тег (изначально - т.е. при заливке на хостинг) для всех тех страниц, которые не хочу индексировать. И как я понял, все равно нет никакой гарантии, что эти страницы не попадут в индекс. И вот я исправно наблюдаю, и если страницы со временем в индекс не попадают - то я ничего не меняю. Если, вдруг, по какой-то неизвестной причине они попали туда, то тогда я разрешаю их (попавшие в индекс страницы) в robots.txt и жду, когда они удалятся из индекса благодаря мета-тегу.
Такой подход-алгоритм нормальный, действенный?

Все закроется нормально благодаря метатегу или robots.txt. А то что не закроется можно удалить через быстрое удаление из выдачи в яндексе, после закрытия метатегом или robots.txt

---------- Добавлено 08.04.2015 в 14:36 ----------

Mambaman:
Спасибо, за то, что тратите свое время на зеленых! )))
Просто таким образом файл роботса будет "длинною в жизнь" )))
Нашел решение проблемы путем редактирования файла движка сайта. Еще раз спасибо!

Самое верное решение ☝

Все вопросы по robots.txt
Mambaman:
Вот поэтому и спрашиваю совета, как поступить...

А закрытие
Disallow: /page/
Disallow: /lastnews/

Можно спокойно делать?

как я понимаю, 3 вопроса:

1) закрыть страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!!

Выглядит так: сайт.ру/1668/11/ (ну и по аналогии).

Disallow: /1668/

Disallow: /1785/

и тд

2) закрыть сайт.ру/lastnews/page/8/ и сайт.ру/page/...

Disallow: /page/

Disallow: /lastnews/

3) и оставить открытыми:

сайт.ру/12-название-статьи..

Рекомендация:

Allow: /12-название-статьи..

Все вопросы по robots.txt
olpiaz:
Да, этод документ я читал, поэтому и возникают такие вот вопросы %). Т.к. вообще не понятно, каким образом запрет в robots.txt может помешать работе мета-тегу "noindex" в случае попадания бота на страницу, при переходе на нее по ссылке, скажем. Если не мешает, то каким тогда образом страница вообще может попасть в индекс?.. Предполагаю, что это касается уже только страниц ПОПАВШИХ в индекс. В этом случае, ПОСЛЕ добавления мета-тега, конечно, НУЖНО позволить боту обходить сайт по измененным страницам, чтобы он прочитал этот новодобавленный тег и удалил страницу из индекса. Но если изначально посавить запрет и там и там, то по идее ж страница никак не может пролезть в индекс ?..

Или все же лучше в robots.txt вообще никаких запретов не делать, и работать только с мета-тегом, для надежности?

Дело в том, что в поисковой системе Яндекс использование запрета в robots.txt и мета тега name="robots" со значением content="noindex" или content="none" приводят к одинаковому результату: к неиндексированию контента страницы и в большинстве случаев её отсутствию в поиске. Как приоритет я бы рекомендовал использовать метатег, но с ним легче ошибиться, и как по мне он более надежен. У robots.txt есть большой плюс - работать удобнее.

С Google аналогично, для него robots.txt рекомендационный файл. Все зависит от ваших условий.

---------- Добавлено 08.04.2015 в 10:51 ----------

Mambaman:
Дабы не создавать новую тему, спрошу здесь.
Сегодня чисто случайно заметил, что в выдаче Гугла присутствуют страницы, которых в теории быть не должно. Сайт на DLE.
Дело в том, что там находятся страницы материалов за 1668, 1785, 1914, 1325 и т.д. года!!!
Выглядит так: сайт.ру/1668/11/ (ну и по аналогии).
Образовалась ситуация, когда из 6,340 страниц сайта (всего на ресурсе 100 материалов!) не под фильтрами только 3%.
Какие могут быть варианты исправления?
Все что приходит на ум (не судите строго) - это пропись в Robots.txt


Но на сайте есть урлы типа сайт.ру/12-название-статьи... - такие статье ведь тогда тоже выпадут из индекса... Очень важно не потерять в выдаче нужные странички...

Также в выдаче полно страниц вида сайт.ру/lastnews/page/8/ и сайт.ру/page/...
Думаю это убирать через



Буду очень признателен за экспертное мнение! Заранее спасибо!

Disallow: /*1

такие метатеги нужно использовать ооочень аккуратно, это закрытие всей файлов *1*

вы закроете им:

/0001.html

/1000.html

/текст1текст.html

и другие страницы с единицей..

Google сам снимает ручные санкции за ссылки и даже не извещает об этом. Глюк?
Sentinel007:
У нас такая ситуация, на сайте были ручные санкции за ссылки, в декабре отправили ссылки на отклонение и санкции были сняты, но по трафику вообще никаких изменений не произошло.
В чем может быть причина, и возможно ли получить какие то комменты от гугла?
Там еще работают живые люди, или только роботы и алгоритмы, которые могут хоть что то сказать?

проводятся вебинары для вебмастеров от Google, можете задать там вопрос

Google сам снимает ручные санкции за ссылки и даже не извещает об этом. Глюк?

Смысла в санкциях никакого. Алгорим ручных санкций был бесполезный - отклоняешь все ссылки и позиции возрастают на прежний уровень.

как итог: сеошники получили работу, владельцы получили проблем, предприимчивые люди заработали на программах, алгоритмах по снятию фильтра и тд..

Все вопросы по robots.txt
Anechka78:
bulatbulat48 в отчете каким числом датировано, до или после снятия запрета?

После снятия запрета, бот скачал свежий роботс и прошла новая аналитика по заблокированным ресурсам. Это-то и странно.

Что-то пошло не так 😂 ждите тогда, если все верно делаете ошибки исчезнут

1... 252627282930313233 ...78
Всего: 780