Подскажите пожалуйста по robots.txt

A1
На сайте с 07.07.2010
Offline
38
768

Гугл выдаёт:

Файл robots.txt_____________________Загружено_________С татус

http://****.net.ru/robots.txt___________52 мин. назад_______200 (Успешно)

52 мин назад гуглробот прошёлся или что?

что значит 200 ?

заранее прошу прощ за может странные вопросы)

Кто может прокомментировать? Что за минуты

Elven
На сайте с 25.07.2005
Offline
150
#1

Код ответа 200 - это ок. Мог ответить, например 404 или 301 ;)

Время - когда последний раз бот загрузил роботс (если вы там меняли что-то чтоб было видно, обновлен он уже там или еще нет).

вобщем, у вас все хорошо, не переживайте.

Блог практика маркетинга (http://marketnotes.ru/).
T1
На сайте с 01.04.2010
Offline
9
#2

как запретить индексацию страниц с регулярным выражением

shop.cart

shop.ask

User-agent: *
Disallow: *shop.ask*
Disallow: *shop.cart*

или такое не прокатит?

NewJey
На сайте с 21.11.2009
Offline
139
#3

User-agent: *

Disallow: shop.ask

Disallow: shop.cart

Так пойдёть)

Seolib
На сайте с 03.07.2008
Offline
159
#4

http://www.seolib.ru/script/robots/

Генерируйте, наздоровье, сколько влезет.

Бесплатно и без ограничений.

Проверка позиций от 3 копеек за запрос! (https://seolib.ru/info/positions?from=se) - Гостевой доступ, группировка запросов, финансовый отчет, анализ посетителей из поиска.
Trean
На сайте с 28.10.2009
Offline
78
#5

Seolib, крутых штук у вас хватает, но роботсы удобнее все таки в ВМТ тестить, раз уж о Гугле речь ;)

Беру заказы на продвижение, также предлагаю качественные консультации и аудиты сайтов (обращаться в ЛС).
Seolib
На сайте с 03.07.2008
Offline
159
#6

Ну тестить да, но например, от Яндекс-Бота там не закроешься ;)

Он только под гугл.

конечно, можно для этого и в ЯВебмастере, но зачем юзать 2 разные когда можно 1? ;)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий