Попробуйте ставить паузы вместо подорожника - Веб-строительство

403 Ошибка ПОЧЕМУ?

Sandra2019 · 2020-02-06T11:47:39.0000000Z

доступ к запрошенному URL-адресу по какой-то причине запрещен. Ввиду чего системе не удаётся получить данные о мета-тегах и заголовках. что можно с этим сделать? по какой причине это происходит? приклыдваю robots txt User-agent: * Disallow: /api Disallow: /stats Disallow: /links Disallow: /demands Disallow: /*products_region= Disallow: /*xls Disallow: /*request Disallow: /go?to= Disallow: /dashboard Disallow: /predl?*q=* Disallow: /about/terms Disallow: */ajax Disallow: /*preview= Disallow: /*q= Disallow: /*imageview Disallow: /users Disallow: *openstat= Disallow: *yclid= Disallow: *gclid= Disallow: *utm_campaign= Disallow: *utm_source= Disallow: *utm_medium= Disallow: */order Disallow: /toolbar Disallow: *open_orders_chat Disallow: *intruder Disallow: *?order= Disallow: *?ya_openstat= Disallow: *?print= Disallow: *?filter= Disallow: *?set_limit= Disallow: *?regions= Disallow: *?k50id= Disallow: *?synonym_path= Disallow: *price_min Disallow: *price_max User-agent: bingbot Disallow: /api Disallow: /stats Disallow: /links Disallow: /demands Disallow: /*products_region= Disallow: /*xls Disallow: /*request Disallow: /go?to= Disallow: /dashboard Disallow: /predl?*q=* Disallow: /about/terms Disallow: */ajax Disallow: /*preview= Disallow: /*q= Disallow: /*imageview Disallow: /users Disallow: *openstat= Disallow: *yclid= Disallow: *gclid= Disallow: *utm_campaign= Disallow: *utm_source= Disallow: *utm_medium= Disallow: */order Disallow: /toolbar Disallow: *open_orders_chat Disallow: *intruder Disallow: *?order= Disallow: *?ya_openstat= Disallow: *?print= Disallow: *?filter= Disallow: *?set_limit= Disallow: *?regions= Disallow: *?k50id= Disallow: *?synonym_path= Disallow: *price_min Disallow: *price_max Crawl-delay: 10 User-agent: YandexBot Disallow: /api Disallow: /stats Disallow: /links Disallow: /demands Disallow: /*products_region= Disallow: /*xls Disallow: /*request Disallow: /go?to= Disallow: /dashboard Disallow: /predl?*q=* Disallow: /about/terms Disallow: */ajax Disallow: /*preview= Disallow: /*q= Disallow: /*imageview Disallow: /users Disallow: */order Disallow: /toolbar Disallow: *open_orders_chat Disallow: *intruder Disallow: *?order= Disallow: *?ya_openstat= Disallow: *?print= Disallow: *?filter= Disallow: *?set_limit= Disallow: *?regions= Disallow: *?k50id= Disallow: *?synonym_path= Disallow: *price_min Disallow: *price_max Clean-param: gclid&yclid&aw_openstat&ay_openstat&_openstat&utm_campaign&utm_medium&utm_source User-agent: heritrix Disallow: / Host: http://www.ufa-opalubka.ru Sitemap: http://www.ufa-opalubka.ru/sitemap.xml

S

469

Sitealert

6 февраля 2020, 12:11

#11

angel57, роботс тут зачем? Нафига весь этот мусор сюда тянуть?

Отпилю лишнее, прикручу нужное, выправлю кривое. Вытравлю вредителей.

240

Виктор Петров

6 февраля 2020, 12:12

#12

роботс тут вообще ни при чём. Ковыряйте серверные настройки, права доступа в CMS и вот это вот всё.

У вас там компьюторщик же есть? Вот пусть он.

https://t.me/seomagus

S2

9

Sandra2019

6 февраля 2020, 12:20

#13

Sitealert:
Программисты смогут, если с ними поговорите по существу, а не загадками, как в этой теме.

да какие загадки

вот сайт

www.ufa-opalubka.ru

сам по себе открыт

но при любой программе сео не дает ничего парсить

проблема в роботс? или еще в чем?

в чем именно? можете точно подсказать?

[Удален]

6 февраля 2020, 12:23

#14

Sandra2019:
но при любой программе сео не дает ничего парсить

А потому что не надо ставить кучу потоков, а надо ставить паузы.

S2

9

Sandra2019

6 февраля 2020, 12:24

#15

petrov-I:
роботс тут вообще ни при чём. Ковыряйте серверные настройки, права доступа в CMS и вот это вот всё.
У вас там компьюторщик же есть? Вот пусть он.

Puls-cen - портал , программисты странные - не особо идут на диалоги. отговорки - что сайт закрыт от парсинга конкурентов товаров

Хочу по факту им сказать что не так, чтобы чисто на нашем сайте это изменили

---------- Добавлено 06.02.2020 в 12:26 ----------

Miha Kuzmin (KMY):
А потому что не надо ставить кучу потоков, а надо ставить паузы.

смотрите в сеофрог что задать? или в мегаиндекс? или сайтрепорт? или в Proomopult парсинг метатегов???

дайте совет конкретный, пожалуйста.

---------- Добавлено 06.02.2020 в 12:27 ----------

angel57:
https://webliberty.ru/wp-content/uploads/2010/10/Analiz-robots.txt-v-YAndeks.png

на примере моего сайта что там должно выйти???

Сколько стоил клик в Джон Мюллер о сентябрьских Google December 2020 Core

[Удален]

6 февраля 2020, 12:28

#16

Sandra2019:
дайте совет конкретный, пожалуйста.

Ок, конкретный совет: seo, интернет и вообще компьютеры явно не ваше. Бегите от них.

240

Виктор Петров

6 февраля 2020, 12:28

#17

А, так речь про лягушку.

Ну, попробуйте User-agent поменять с фрога на гугловского, например. Там,вероятно, настройки от левых ботов на серваке.

S

469

Sitealert

6 февраля 2020, 12:46

#18

Sandra2019:
Puls-cen - портал , программисты странные - не особо идут на диалоги. отговорки - что сайт закрыт от парсинга конкурентов товаров

Не будут они изменять настройки. Придётся обойтись без парсинга. Или дорабатывать паука.

154

angel57

6 февраля 2020, 12:48

#19

Sitealert:
angel57, роботс тут зачем? Нафига весь этот мусор сюда тянуть?

Не я начал вообще-то, вопрос был про роботс

S

469

Sitealert

6 февраля 2020, 12:49

#20

angel57:
Не я начал вообще-то, вопрос был про роботс

Вопрос был про ошибку 403, а роботс приложили вместо подорожника.

Что такое Power BI и зачем это нужно бизнесу

Google: E-E-A-T не является фактором ранжирования

403 Ошибка ПОЧЕМУ?