помогите с файлом robots txt

M
На сайте с 10.01.2017
Offline
44
217

парни помогите с этим файлом

гугл нашёл только одну главную. поиск site:******com.ua  3 дня в ступоре. индекс начался дня 3 назад. или ждать?

может где косяк, вот его текст

User-agent: *

Disallow: /cgi-bin

Disallow: /cache/

Disallow: /address_book_process.php 

Disallow: /ajax_shopping_cart.php

Disallow: /account.php 

Disallow: /account_edit.php 

Disallow: /account_edit_process.php 

Disallow: /account_history.php 

Disallow: /account_history_info.php 

Disallow: /address_book.php 

Disallow: /advanced_search_result.php?

Disallow: /affiliate_affiliate.php

Disallow: /ask_a_question.php

Disallow: /checkout_alternative.php 

Disallow: /checkout_process.php 

Disallow: /advanced_search.php 

Disallow: /advanced_search_result.php 

Disallow: /admin/

Disallow: /checkout_address.php 

Disallow: /checkout_confirmation.php 

Disallow: /checkout_payment.php 

Disallow: /checkout_success.php 

Disallow: /checkout_shipping.php

Disallow: /contact_us.php 

Disallow: /create_account.php

Disallow: /create_account_guest.php  

Disallow: /create_account_process.php 

Disallow: /create_account_success.php 

Disallow: /featured.php

Disallow: /index.php/manufacturers_id/

Disallow: /info_shopping_cart.php 

Disallow: /shopping_cart.php 

Disallow: /login.php 

Disallow: /logoff.php

Disallow: /newsletter.php

Disallow: /products_new.php

Disallow: /password_double_opt.php

Disallow: /popup_image.php 

Disallow: /popup_search_help.php 

Disallow: /product_notifications.php 

Disallow: /product_reviews.php 

Disallow: /product_reviews_info.php 

Disallow: /shipping.php 

Disallow: /media/export/

Disallow: /media/download/ 

Disallow: /includes/ 

Disallow: /media/pub/ 

Disallow: /media/

Disallow: /index.php/action/

Disallow: /articles.php

Disallow: /articles_new.php

Disallow: /article_info.php/action/

Disallow: /product_info.php/action/

Disallow: /manu/

Disallow: /index.php/manu

Disallow: /index.html?products_id

Disallow: /cookie_usage.php

Disallow: /index.php/products_id

Disallow: /index.php?action=buy_now

Disallow: /specials.php/action/buy_now 

Disallow: /market.php 

Disallow: /*action=buy_now

Sitemap:  http://mjgrowers.com.ua/sitemap.xml

Host: www.mjgrowers.com.ua

Виктор Петров
На сайте с 05.01.2020
Offline
240
#1
3 дня для Гугла - тлен и прах, тем более - для нового домена.
Месячишко подождать - это минимум. 
M
На сайте с 10.01.2017
Offline
44
#2
Виктор Петров #:
3 дня для Гугла - тлен и прах, тем более - для нового домена.
Месячишко подождать - это минимум. 

ого. спасибо мил человек. а так робот файл правильный? вот о сайтмапе хотелось бы услышать Ваше мнение

Антоний Казанский
На сайте с 12.04.2007
Offline
601
#3
mjgrowers :
гугл нашёл только одну главную. поиск site:******com.ua  3 дня в ступоре. индекс начался дня 3 назад. или ждать?

Ну, судя по тому, что дата генерация xml карты была три года назад, то ждать с индексацией вам не привыкать.

Немного юмора.

Отличная тема сайта, тут главное выбрать листики покрупнее, заправить и понеслась :)

 

p.s. По теме - конечно ждать. 3 дня не срок. 

√ SEO продвижение https://akazansky.ru - поиск новых точек роста, экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. © Обстоятельно, ответственно, доступно.
Виктор Петров
На сайте с 05.01.2020
Offline
240
#4
mjgrowers #:

ого. спасибо мил человек. а так робот файл правильный? вот о сайтмапе хотелось бы услышать Ваше мнение

Тут парсить надо - Screaming Frog, Netpeak, Siteanalyzer в помощь. Можно выбрать заданный User-Agent и посмотреть, что ему доступно и в каком виде. Общих robots.txt не бывает, тут всегда всё конкретно.
В любом случае - вся конкретика будет доступна в Search Console. Пока можно расслабиться и ждать результатов сканирования и индексации.
Максимум, я бы добавил сканирование css, картинок и js - это в любом случае необходимо.

Антоний Казанский
На сайте с 12.04.2007
Offline
601
#5
mjgrowers #:
а так робот файл правильный

Как минимум устаревшую директиву Host можно убрать, в остальном Виктор правильно сказал, нужно сканировать сайт, сверяться по структуре, закрывать лишнее на обход, ну и конечно обновить XML карту, убрав-таки оттуда лишние динамические страницы с возможными дублями.

Artem189
На сайте с 14.10.2015
Offline
146
#6
Антоний Казанский #:

Как минимум устаревшую директиву Host можно убрать

Зачем ее убирать? Кому она мешает? Правильно, никому!

Лучший плагин кеширования для Wordpress, который выведет нагруженный сайт (с рекламой, счетчиками и т.д.) в зеленую зону и реально сделает по Page Speed 99/100 +- https://clck.ru/37GDWU
M
На сайте с 10.01.2017
Offline
44
#7
Антоний Казанский #:

Ну, судя по тому, что дата генерация xml карты была три года назад, то ждать с индексацией вам не привыкать.

Немного юмора.

Отличная тема сайта, тут главное выбрать листики покрупнее, заправить и понеслась :)

 

p.s. По теме - конечно ждать. 3 дня не срок. 

спасибо за ответ. видос. в тему))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий