Загружено роботом в вебмастере, и роботс.тхт

G
На сайте с 12.05.2008
Offline
53
504

Запретил в роботсе, индексировать /shop* , ибо там полный дубль сайта просто с корня.

Прошло два апа после, в загружено роботом уже 13т страниц, в поиске 500, хотя на сайте реальных как минимум 1700, такая цифра была после первой-второй индексации.

Это нормально что загружено роботом не учитывает роботс.тхт

Rau
На сайте с 09.07.2011
Offline
3
Rau
#1

То,что запрещено в роботс.тхт, не присутствует в поиске.Но загружается роботом.

такая цифра была после первой-второй индексации.

После одного,двух Апов?Ждите еще.

K
На сайте с 31.01.2001
Offline
737
#2
Rau:
То,что запрещено в роботс.тхт, не присутствует в поиске.Но загружается роботом.

Это так ошибочно и упрощенно формулируется в Яндекс.Вебмастере. На самом деле, то что запрещено, роботом не загружается. Просто про эти урлы робот знает, он может их посчитать.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
G
На сайте с 12.05.2008
Offline
53
#3

понятно спасибо

Denisg
На сайте с 10.01.2008
Offline
136
#4
g0rik:
Запретил в роботсе, индексировать /shop* , ибо там полный дубль сайта просто с корня.
Прошло два апа после, в загружено роботом уже 13т страниц, в поиске 500, хотя на сайте реальных как минимум 1700, такая цифра была после первой-второй индексации.
Это нормально что загружено роботом не учитывает роботс.тхт

Не совсем понятно что вы имели в виду, поэтому вопросы:

1. Сколько страниц у вас имеется на сайте (по данным системы управления)

2. Сколько страниц в Яндекс.Вебмастер:

а. загружено роботом

б. страниц в поиске?

Не совсем понятна пунктуация:

Это нормально что загружено роботом не учитывает роботс.тхт

Это вопрос или утверждение? Пишите знаки препинания.

О файле robots.txt и его работе подробно описано здесь.

Вероятно, вам нужно будет запретить индексацию на сайте для каждой страницы. Если у вас имеется шаблон, то в теге <head> нужно прописать:

<meta name="robots" content="noindex, nofollow">

Кроме того, вы можете отдавать на сайт 404 ошибку. Тем самым поисковая система при переиндексации автоматически уберёт страницу.

K
На сайте с 31.01.2001
Offline
737
#5
Denisg:
Вероятно, вам нужно будет запретить индексацию на сайте для каждой страницы.

Это еще зачем? Это провокация?

G
На сайте с 12.05.2008
Offline
53
#6

стерто.......

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий