Блокировать через meta или через robots.txt?

12
R
На сайте с 08.08.2009
Offline
74
1464

Есть молодой сайт. Контента очень много, но много и страниц, которые генерируются по параметрам.

На одном сайте прочитал, что из-за meta тега не передаётся сила страницы, на другом прочитал, что из-за robots.txt не передаётся так называемый Juice страницы.

В чем отличие robots.txt от meta тег "noindex,follow" ?

И главный вопрос: "Как лучше запретить индексировать ненужные страницы типа "?page=5&genre=&timeFilter=0" и другие динамические страницы, чтобы при этом гугл и другие поисковики нормально лазали по сайту и передавали вес страницы по сайту?"

borej
На сайте с 11.08.2008
Offline
202
#1

Raveex,

1. по надобности. использовать мета, там где не возможно через роботы.

2. хз

3. https://www.google.com/webmasters/tools/crawl-url-parameters?hl=ru&siteUrl= тут можно, только после равно поставьте урл сайта, который, разумеется в ВМТ добавлен.

все это чушь собачая
R
На сайте с 08.08.2009
Offline
74
#2
borej:
Raveex,
1. по надобности. использовать мета, там где не возможно через роботы.
2. хз
3. https://www.google.com/webmasters/tools/crawl-url-parameters?hl=ru&siteUrl= тут можно, только после равно поставьте урл сайта, который, разумеется в ВМТ добавлен.

Эм, второй пункт это вы на что ответили?

Немного подкорректировал первый пост, убрал повторяющиеся вопросы, сформулированные по-разному.

ACG Consult
На сайте с 30.08.2012
Offline
16
#3

У Деваки (Кокшаров) хорошо про опасности увлечения роботсом написано хорошо

http://devaka.ru/articles/robots.txt

Авторский журнал "Куб Фрэйна" (Frayne's Cube) http://frayner.com/ (http://frayner.com/)
E
На сайте с 21.09.2009
Offline
283
#4

Raveex, в Ваших вопросах очень помогает поиск по форуму и справкам гугла.

interers
На сайте с 12.12.2012
Offline
19
#5

У меня и в robots.txt и в meta запрещено 🍿

R
На сайте с 08.08.2009
Offline
74
#6
ACG Consult:
У Деваки (Кокшаров) хорошо про опасности увлечения роботсом написано хорошо
http://devaka.ru/articles/robots.txt

Спасибо, интересная информация, отличная от многих других статей.

easywind:
Raveex, в Ваших вопросах очень помогает поиск по форуму и справкам гугла.

Хоть бы ссылкой подкрепили своё сообщение. Я повторюсь - информации много, но она разницся от статьи к статье. Я же хочу услышать больше конркретики и специфики.

interers:
У меня и в robots.txt и в meta запрещено 🍿

Я так же сделал в начале, но после прочтения некоторых статей и посмотрев, как плохо гугл индексирует, сайт задумался над правильностью решения.

Gennadi
На сайте с 18.12.2012
Offline
138
#7

Начать нужно с изучения особенностей работы СМС на которой сайт а там глядишь и попустит.

WebJunior
На сайте с 11.06.2010
Offline
155
#8
Raveex:
На одном сайте прочитал, что из-за meta тега не передаётся сила страницы, на другом прочитал, что из-за robots.txt не передаётся так называемый Juice страницы.

сила еще ладно,

но что за сок -

??

Мой сайт на этом хостинге - https://tuthost.ua/?from=2558 / Верстаю шаблоны (темы с отзывами: https://searchengines.guru/ru/forum/763758, https://searchengines.guru/ru/forum/600404 ).
R
На сайте с 08.08.2009
Offline
74
#9
Gennadi:
Начать нужно с изучения особенностей работы СМС на которой сайт а там глядишь и попустит.

Самопис полный с нуля.

WebJunior:
сила еще ладно,

но что за сок -

??

😂 это я написал дословный перевод с статей с забугорных сайтов, надо было в кавычки взять наверное. Имеется ввиду во первых pagerank во вторых вес страницы, её влиянее на другие страницы. Ну и у меня подозрение, что если страница закрыта robots.txt, то ссылки на ней гугл не видит и по ним не идет, может и не прав, по этому создал эту тему.

Gennadi
На сайте с 18.12.2012
Offline
138
#10
Raveex:
Самопис полный с нуля.

Вот теперь и изучайте особенности его работы.😂

Файлы закрытые в роботсе индексироваться не будут проиндексированные выпадут.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий