Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Robot.txt помогите правильно настроил?

1 23
T
На сайте с 21.11.2010
Offline
110
teresh
#21
Selend:
Здравствуйте, google сегодня выбbл что доступ не было получено Robot.txt.
Вот мой Robot.txt :
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=




Помогите пожалуйста в чем ошибка?

Мой совет: забейте вообще на robots.txt. Уже несколько месяцев мои сайты живут без него. Ухудшения не заметил. Наоборот, есть рост.

september
На сайте с 11.09.2009
Offline
591
september
#22
teresh:
забейте вообще на robots.txt

Плохой совет для некоторых популярных cms, падких до дублей

$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
Selend
На сайте с 20.04.2013
Offline
96
Selend
#23

Ошибки URL

4 Не найдено

Гугл нашел мои старые url как их можно удалить, чтоб он опять их не индексировал?

Индексация страниц как была 0 так и осталось.

Отличный телеграм канал про таргет Facebook и instagram - здесь (https://t.me/targetinFB)
E
На сайте с 21.09.2009
Offline
283
easywind
#24
mstkalenko:
На сколько я знаю гуугл кеширует роботс

он его проверяет 2 раза в день. В зависимости о популярности сайт может меньше.

Selend
На сайте с 20.04.2013
Offline
96
Selend
#25

Уже ошибок не каких нету, но проиндексировано страниц 0

D
На сайте с 21.11.2013
Offline
63
dvmax
#26

Пользую такой роботс на опенкарт.

Всё индексируется и в яндексе и в гугл.

1. Обрати внимание на сайтмап. Отличается от твоего. Сколько читал рекомендуют именно так прописывать. При этом в панели управления сайтом в какой то вкладке галочку поставить.

2. в яндекс вебмастере поставить где выбрать главное зеркало, выбирай на усмотрение робота.


User-agent: *
Disallow: /my-account
Disallow: /index.php?route=account/simpleedit
Disallow: /order-history
Disallow: /change-password
Disallow: /downloads
Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /simplecheckout
Disallow: /checkout
Disallow: /vouchers
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /login
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host: сайт.ru

User-agent: Yandex
Disallow: /index.php?route=product/product&path=
Disallow: /my-account
Disallow: /index.php?route=account/simpleedit
Disallow: /order-history
Disallow: /change-password
Disallow: /downloads
Disallow: /search?filter_name=
Disallow: /search
Disallow: /search?
Disallow: /simplecheckout
Disallow: /checkout
Disallow: /vouchers
Disallow: /affiliate-login
Disallow: /request-return
Disallow: /index.php?route=checkout/simplecheckout
Disallow: /login
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Sitemap: http://сайт.ru/index.php?route=feed/google_sitemap
Запчасти для ноутбуков. Хабаровск. Владивосток. Дальний Восток. (http://dvmax.ru)
Яндекс вебмастер +Главное зеркало Как узнать, когда робот 301-й редирект
Selend
На сайте с 20.04.2013
Offline
96
Selend
#27
Selend:
Не хочет гугл индексировать выбивает ошибки:
Ошибка URL
DNS
Подключение к серверу
Доступ к файлу robots.txt
Не хочет гугл индексировать выбивает ошибки
Как исправить?Я уже этот робот.тхт как только не загружал.

---------- Добавлено 26.01.2014 в 11:26 ----------


Сеопро стоит дедсео тоже.
dvmax:
Пользую такой роботс на опенкарт.
Всё индексируется и в яндексе и в гугл.

1. Обрати внимание на сайтмап. Отличается от твоего. Сколько читал рекомендуют именно так прописывать. При этом в панели управления сайтом в какой то вкладке галочку поставить.
2. в яндекс вебмастере поставить где выбрать главное зеркало, выбирай на усмотрение робота.

robots.txt проверял все нормально саит мап тоже Сейчас попробую вашу версию

I
На сайте с 19.12.2011
Offline
90
iSeller
#28
Selend:
А для яндека я читал что отдельно надо?

Это на ваш вкус и цвет, хотите делайте Роботс километровый, Гугл все равно поставит в индекс то что хочет.

Продажа оригинальной продукции Apple в Москве Apple-Seller.ru (http://apple-seller.ru/). Отличный VPS/VDS хостинг для сайтов в Inferno Solutions (http://cp.inferno.name/aff.php?aff=1489).
Selend
На сайте с 20.04.2013
Offline
96
Selend
#29

Странно утром было проиндексировано 834 страниц сейчас 809. Это за что он самной так?

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий