Дейсвия бота по инсрукциям robots.txt и meta:robots

poiuy
На сайте с 04.11.2011
Offline
29
567

Здравствуйте. Наконец-то, за три года у меня нашлось что у вас спросить, ибо никак не могу найти точной информации.

Сайт каталог, с огромным количеством "мусорных", бесценных для ПС страниц. Карточки товара, набор характеристик и тайтлы - один в один. Разница в один-два символа, при этом в тайтле - просто номер, артикул. Таково требование заказчика..

Что бы ускорить индексацию страниц, которые несут какую-то смысловую нагрузку и обладают ценностью для ПС принял решение позакрывать все карточки товаров от индексации.

Два способа: мета тэг и правило в роботсе.

И тут я немного растерялся. Ребят, как это происходит?

При метатеге:

робот все равно собирает все доступные ссылки и ходит по ним, наткнувшись на noindex, nofollow - разворачивается и стучится в следующую страницу, где опять ему закрыто? Или он не ходит на такие страницы?

При правиле в роботс:

Тут все понятно, он не пойдет на страницы, на которые ему сказали не ходить. Так?

Вот какой вариант предпочтительнее? Как избежать ненужных телодвижений бота? Мне кажется роботс.тхт. Но я не уверен.

Вы как считаете?

^_^
Rotten2
На сайте с 26.03.2008
Offline
65
#1
poiuy:
Карточки товара, набор характеристик и тайтлы - один в один. Разница в один-два символа, при этом в тайтле - просто номер, артикул. Таково требование заказчика..

Title должен быть разный. Можно делать "№ артикул : название товара" например. Этим создастся уникальность титла (у себя в каталоге так сделал.)

poiuy:
Что бы ускорить индексацию страниц, которые несут какую-то смысловую нагрузку и обладают ценностью для ПС принял решение позакрывать все карточки товаров от индексации.

Закрытие одних страниц от индекса никак не повлияет на укорение индексации других.

Да и собственно зачем закрываь то? То что характеристики товаров одинаковые это ерунда.

В катрочку товаров хорошо бы добавить описания товаров + отзывы + также покупают (как на ozon.ru реализовано)

poiuy:

При метатеге:
робот все равно собирает все доступные ссылки и ходит по ним, наткнувшись на noindex, nofollow - разворачивается и стучится в следующую страницу, где опять ему закрыто? Или он не ходит на такие страницы?

Гуглу пофиг на noindex, nofollow - зайдет и проиндексирует

Только в начале пути...
poiuy
На сайте с 04.11.2011
Offline
29
#2

Спасибо за ответ.

С уникальными тайтлами, это да. Было бы не плохо. Характер товаров таков, что нет названий товара. Есть одно название для большой группы, а она уже, в свою очередь, дробится на множество разновидностей. Например по оттенку, плотности и т.д. То-есть - простые номера артикула. Названий как таковых нет. Описания -не вариант. Не тот уровень. На описания всех товаров - уйдет очень много времени и денег. А профит -ноль.

Как это закрытие от индексации страниц не влияет на индексацию других страниц?

Пните если не прав: лучше робот будет ходить по ссылкам где его ждут, чем перелапачивает десятки тысяч не ценных страниц. Хоть и на дворе 2014 год, а квоты на количество ссылок/сайт все равно имеются.

А по основному вопросу? Что предпочтительнее?

богоносец
На сайте с 30.01.2007
Offline
768
#3
poiuy:
При метатеге:

робот все равно собирает все доступные ссылки и ходит по ним, наткнувшись на noindex, nofollow - разворачивается и стучится в следующую страницу, где опять ему закрыто? Или он не ходит на такие страницы?

У бота может быть ограничение на количество обращений к сцайту (и он может заниматься оценкой вероятности найти там что-либо новое... на основании того, что уже получил).

Чтобы по мета-ноуиндекс понять, что страницу индексить не надо, бот должен её скачать (израсходовав при этом часть своего лимита на количество обращений).

Аналогично и с рел=каноникал.

В идеале, лучше бы показывать боту только те ссылки, по которым ему имеет смысл ходить.

Rotten2
На сайте с 26.03.2008
Offline
65
#4
poiuy:
Спасибо за ответ.

Как это закрытие от индексации страниц не влияет на индексацию других страниц?

?

На скорость индексации других.

---------- Добавлено 03.02.2014 в 13:39 ----------

poiuy:
а можно сайт посмотреть.

А по основному вопросу? Что предпочтительнее?

Очень интересно посмотреть на каталог товаров у которых вместо названия одни артикулы.

---------- Добавлено 03.02.2014 в 13:41 ----------

poiuy:
Хоть и на дворе 2014 год, а квоты на количество ссылок/сайт все равно имеются.

Есть сайты у которых и 500К страниц. И никаких квот что то на них нет...

---------- Добавлено 03.02.2014 в 13:42 ----------

poiuy:


Вот какой вариант предпочтительнее? Как избежать ненужных телодвижений бота? Мне кажется роботс.тхт. Но я не уверен.

Вы как считаете?

Думаю вывод понятен - в robots.txt

только вот удалять из индекса страницы каталога все таки как то ... неправильно...

poiuy
На сайте с 04.11.2011
Offline
29
#5

Rotten2, не могу во всем с вами согласиться. Я бы даже сказал, во всем с вами не согласен. Вы где-то рядом, но все не то.

Каталоги, знаете-ли, разные бывают. Например, был недавно сайт в работе, каталог стеновых покрытий. Он создавался для дизайнеров. Фишка в том, что в нужной карточке товара, текстура обоев разворачивалась на весь экран в большом разрешении. Для планшетов. К стене прикладывать. Позиций - более 5000. Все карточки товара - имеют вид: art-9504, art-9580 и т.д. Функция одна - показ картинок. Нет продаж. Для продаж - другой сайт, их же, но другой домен.

Или вы прикажете выдумывать несуществующие названия для овер 10 000 позиций? Ну конечно же нет.

богоносец - это именно то, что я хотел услышать. Я именно так и думал, просто сомнения вкрались, и не давали покоя.

Меня кстати немного оскорбил перенос темы сюда. Вроде не новичек. Да и вопрос так-то не из разряда нубовских. Просто хотел услышать мнения. Ну да ладна, модераторам виднее.

Всем хорошего вечера, встретимся через три года!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий