Блокировать через meta или через robots.txt?

Я поставил конкретный вопрос в первом сообщении, причем тут самопис или нет.

То, что они не будут индексироваться - ежу понятно, а будет ли их вес передаваться?

Теперь я не понял. На первый вопрос свое мнение я высказал запретить в роботсе.

Второго вопроса я не понял что значит нормально лазили? Вы запрещаете дубли но оригиналы же ни куда не деваються.

И вес передаете вы когда перелинковку делаете или ее уже тоже отменили?

Проблема в том, что на сайте порядком 3-х миллионов страниц с контентом. Сделать нормальную перелинковку этого всего добра нереально. Люди легко находят то, что им надо через поиск или с помощью различных фильтров, но для гугла картина выглядит очень печально, т.к. пока он еле еле достал 200к страниц и то это походу те, которые лежали на поверхности. Такое ощущение, что страницы, которые закрыты роботсом он просто не посещает и по ссылкам с них не переходит дальше, а кушает только то, что появляется на поверхности.

По этому и такой вопрос про передачу веса страницы и краулит ли гугл страницы, на которые идут ссылки с закрытых роботсом страниц.

Предлагаете вместо Вас поискать? Если кратко то для гугла только метатегом выкидывать из индекса + потом поставить в роботс запрет на сканирование.

Выкинуть из индекса - дело не хитрое, можно и весь сайт выкинуть махом 😂

Вопрос в другом. Как настроить блокировку так, чтобы гугл передавал вес заблокированной страницы или хотя бы просто воспринимал ссылки с этой страницы и шел по ним индексировать?

Raveex, ваш вариант - метатег с параметрами "noindex, follow", "не индексировать, ходить по ссылкам".

Как настроить это уже технический момент, обратитесь к специалисту, тем более у вас самопис.

С самого начала у нас было robots.txt + "noindex,follow", результаты плачевны, по-этому я открыл эту тему. Прочитав статью http://devaka.ru/articles/robots.txt вчера убрал блокирующие строки из robots.txt и оставил только "noindex,follow". А ваше сообщение еще раз подтвердило, что я сделал правильно. Посмотрим на результаты. Спасибо.

Поймите правильно - если Вы закрыли страницу в robots.txt, тогда googlebot не зайдет на нее.

Также, если страница в индексе и вы решили её закрыть в robots.txt, то да, она пропадет с индекса, но будет доступна в дополнительном поиске.

Пример снипета таких страниц: A description for this result is not available because of this site's robots.txt – learn more.

Рекомендация именно для Вас:

1. Настройте правильно <meta name="robots" content="параметр, параметр">

2. Откройте страницы для доступа робота в robots.txt

3. Поработайте над структурой сайта, так чтобы не было УВ5...9 (как вариант - карта сайта).

4. Сгенерируйте sitemap.xml и скормите в вебмастере ПС.

Спасибо за детальный ответ. Услышал то, что хотел.

Пункты 1, 3, 4 сделаны еще при запуске сайта, но вот robots.txt отредактировал только вчера, открыл доступ.

Еще раз спасибо 🍻

не будет такой старницы в индексе проверте site:имя_страницы и Вы ее не найдете.