petrov-I: роботс тут вообще ни при чём. Ковыряйте серверные настройки, права доступа в CMS и вот это вот всё.
У вас там компьюторщик же есть? Вот пусть он.
Puls-cen - портал , программисты странные - не особо идут на диалоги. отговорки - что сайт закрыт от парсинга конкурентов товаров
Хочу по факту им сказать что не так, чтобы чисто на нашем сайте это изменили
---------- Добавлено 06.02.2020 в 12:26 ----------
Miha Kuzmin (KMY): А потому что не надо ставить кучу потоков, а надо ставить паузы.
смотрите в сеофрог что задать? или в мегаиндекс? или сайтрепорт? или в Proomopult парсинг метатегов???
дайте совет конкретный, пожалуйста.
---------- Добавлено 06.02.2020 в 12:27 ----------
Только .htaccess ?
А httpd.conf (apache2.conf), nginx.conf (include vhosts), php.ini, различные waf и т.д. не могут ?
а можно узнать почему сначала redirect идет , а потом 403 и что это такое и с чем его вообще едят nginx, де можно поподробнее почитать и т.д.
Sandra2019, не надо 100500 раз тянуть сюда этот мусор. Сколько раз ещё нужно это повторить?
так вы можете вообще не читать эту страницу, вас никто не заставляет
Вопрос был про ошибку 403, а роботс приложили вместо подорожника.
роботс приложила потому что стоит запрет сканированию ботам
т.е.
User-agent: bingbot
Disallow: /api
Disallow: /stats
Disallow: /links
Disallow: /demands
Disallow: /*products_region=
Disallow: /*xls
Disallow: /*request
Disallow: /go?to=
Disallow: /dashboard
Disallow: /predl?*q=*
Disallow: /about/terms
Disallow: */ajax
Disallow: /*preview=
Disallow: /*q=
Disallow: /*imageview
Disallow: /users
Disallow: *openstat=
Disallow: *yclid=
Disallow: *gclid=
Disallow: *utm_campaign=
Disallow: *utm_source=
Disallow: *utm_medium=
Disallow: */order
Disallow: /toolbar
Disallow: *open_orders_chat
Disallow: *intruder
Disallow: *?order=
Disallow: *?ya_openstat=
Disallow: *?print=
Disallow: *?filter=
Disallow: *?set_limit=
Disallow: *?regions=
Disallow: *?k50id=
Disallow: *?synonym_path=
Disallow: *price_min
Disallow: *price_max
Crawl-delay: 10
---------- Добавлено 06.02.2020 в 12:59 ----------
Ваш сайт, например. Неужели все так плохо бывает :)
---------- Добавлено 06.02.2020 в 16:50 ----------
про ошибку 403 не могу пока ничего сказать так как неизвестно про какой урл речь)
http://www.ufa-opalubka.ru/
Ок, конкретный совет: seo, интернет и вообще компьютеры явно не ваше. Бегите от них.
спасибо мил человек, и Вам желаю доброго пути
роботс тут вообще ни при чём. Ковыряйте серверные настройки, права доступа в CMS и вот это вот всё.
У вас там компьюторщик же есть? Вот пусть он.
Puls-cen - портал , программисты странные - не особо идут на диалоги. отговорки - что сайт закрыт от парсинга конкурентов товаров
Хочу по факту им сказать что не так, чтобы чисто на нашем сайте это изменили
---------- Добавлено 06.02.2020 в 12:26 ----------
А потому что не надо ставить кучу потоков, а надо ставить паузы.
смотрите в сеофрог что задать? или в мегаиндекс? или сайтрепорт? или в Proomopult парсинг метатегов???
дайте совет конкретный, пожалуйста.
---------- Добавлено 06.02.2020 в 12:27 ----------
https://webliberty.ru/wp-content/uploads/2010/10/Analiz-robots.txt-v-YAndeks.png
на примере моего сайта что там должно выйти???
Программисты смогут, если с ними поговорите по существу, а не загадками, как в этой теме.
да какие загадки
вот сайт
www.ufa-opalubka.ru
сам по себе открыт
но при любой программе сео не дает ничего парсить
проблема в роботс? или еще в чем?
в чем именно? можете точно подсказать?
https://webmaster.yandex.ru/tools/robotstxt/
Тут можно проверить заблокирована ли страница роботсом и какой директивой.
Хост - эту директиву можно убрать уже как 2 года не поддерживается, тем более все равно у вас она неправильно написана))
не поняла, по ссылке идет просто анализ роботс - а где именно "собака зарыта" чтобы указать программистам что изменить -не могу понять.
А сама страница открывается?
да, открывается сайт.
Можешь ещё подорожник приложить. Эффект будет такой же.
Да хоть корень Имбиря готова приложить - объясните где кроется запрет
естественная ссылка с анкором это
1. масло форд купить на сайте www.site.ru
2. www.site.ru