- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Только .htaccess ?
А httpd.conf (apache2.conf), nginx.conf (include vhosts), php.ini, различные waf и т.д. не могут ?
как можно обойти эту блокировку прокси-сервером???
а можно узнать почему сначала redirect идет , а потом 403
Потому что так настроен ваш вебсервер. Зачем - это у тех кто настраивал спрашивать надо.
что это такое и с чем его вообще едят nginx, де можно поподробнее почитать и т.д.
1. Не факт что редиректы настроены именно в nginx (хотя он у Вас как видно из скринов установлен).
2. Почитать - извините но бессмысленно - обратитесь к тем кто Вам настраивал всё или к стороннему спецу для аудита.
Потому что так настроен ваш вебсервер. Зачем - это у тех кто настраивал спрашивать надо.
1. Не факт что редиректы настроены именно в nginx (хотя он у Вас как видно из скринов установлен).
2. Почитать - извините но бессмысленно - обратитесь к тем кто Вам настраивал всё или к стороннему спецу для аудита.
а можно в сеофрог программе настроить задержку при сканирование, полвияте ли это на парсинг? или также будет 403?
Сервер три раза ставит Cookie (пытается).
А клиент/парсер видимо не отправляет их назад.
Ввиду чего системе не удаётся получить данные о мета-тегах и заголовках. что можно с этим сделать? по какой причине это происходит?
Какой системе?
Очень похоже на примитивную защиту от тупых ботов, которые не правильно заголовки формируют и куки перебрасывают.
307 редирект применяется потому что он гарантирует неизменность метода и тела запроса при редиректе ( в отличии от 302)
Сервер три раза ставит Cookie (пытается).
А клиент/парсер видимо не отправляет их назад.
Можете пояснить что данное означает : "Сервер ставит Cookie" ?
---------- Добавлено 06.02.2020 в 19:05 ----------
Какой системе?
Очень похоже на примитивную защиту от тупых ботов, которые не правильно заголовки формируют и куки перебрасывают.
307 редирект применяется потому что он гарантирует неизменность метода и тела запроса при редиректе ( в отличии от 302)
Screamin Frog - система
Можете пояснить что данное означает : "Сервер ставит Cookie" ?
Строки
Set-Cookie: ...
https://www.screamingfrog.co.uk/seo-spider/user-guide/general/
Cookies
By default the Screaming Frog SEO Spider does not accept cookies, just like search engine bots.
However, under ‘Configuration > Spider’ in the ‘Advanced’ tab, there is an option to accept cookies. This is useful for crawling sites that mandate the client accepts cookies to be able to crawl it.
По умолчанию крики Фрог СЕО Спайдер не принимает cookies, как и поисковых ботов.
Однако в 'Настройки > паук' на вкладке "Дополнительно", есть возможность принимать файлы cookie. Это полезно для сканирования сайтов, что мандат клиент принимает файлы cookie, чтобы иметь возможность его обхода
Строки
Set-Cookie: ...
https://www.screamingfrog.co.uk/seo-spider/user-guide/general/
Щас спросит, что такое куки.
Жги, Господь
Строки
Set-Cookie: ...
https://www.screamingfrog.co.uk/seo-spider/user-guide/general/
методом научного тыка))) случайно поставила до Вашего ответа принимать куки, и дело сдвинулось)))
спасибо что поясняете детально и что потратили свое время :);)
---------- Добавлено 06.02.2020 в 19:47 ----------
Щас спросит, что такое куки.
Жги, Господь
желаю обрести Вам счастье и уважение к себе
---------- Добавлено 06.02.2020 в 19:54 ----------
Строки
Set-Cookie: ...
https://www.screamingfrog.co.uk/seo-spider/user-guide/general/
нашла классное руководство по seo frog если кого заинтересует
http://webline.blog/podrobnaya-instrukciya-po-ispolzovaniyu-screaming-frog-seo-spider/