- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Имеется сайт на движке DLE старинной версии 5.3. Недавно появилась проблема:
блокируется доступ к содержимому сайта с определенных айпи. А конкретно проблема возникает у робота стейной биржи pr sape. приходит робот для индексации размещённой статьи и видит ответ:
<!--bot_true-->
< html>
< head>
< meta name=" robots“ content=" noarchive“ />
< meta name=" googlebot“ content=" nosnippet“ />
</head>
< body>
< div align=center>
< h3> Error. Page cannot be displayed. Please contact your service provider for more details. (12)</h3>
</div>
</body>
</html><! DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN» «http://www.w3.org/tr/1999/rec-html401–19991224/loo...;
< html>
< head>
и только дальше обычный контент страницы.
В шаблоне и файлах движка ничего подобного нет. В исходном коде страницы - которая выдаёт такой ответ боту тоже чисто. Смотрел на сайт глазами роботов — тоже все ок. Но как только с определённого айпи приходит бот — он видит страницу в таком виде. В логах сайта и сервера ничего подозрительного нет, на вирусы проверялся весь сервер. На сервере был установлен мод секьюрити и фаервол - отключены, результат тот же. Пробовал переносить весь сайт на другой сервер - опять то же самое. Что-то именно в файлах сайта выдаёт вот такой ответ именно саповскому боту.
Может кто-то сталкивался с подобным? подскажите куда можно посмотреть, что такое может быть?
предположительно на сайте срабатывает антифлуд или антиспам, хотя в движке все стандартно и ничего не менялось. При этом антифлуд установлен стандартный - протиив флуда в комментах на 30 сек, я его отключил полностью.
Пишите своему хостеру, тут явно не в дле проблема. В нем вообще ничего подобного нету.
Пишите своему хостеру, тут явно не в дле проблема. В нем вообще ничего подобного нету.
Спасибо за ответ. Сервер мой, а его сам админю. Отключил мод секьюрити и фаерволл полностью. Смотрел в логи - боту отдаётся код 200, в логах самого сайта тоже никаких ошибок нет. переносил сайт на другой сервер, -проблема оставалась. Естесвенно с поддержкой хостера проверяли сервер, и никаких блокировок не нашли.
Экспериментируйте с темами, попробуйте сменить... отследите результат.
Какие доп.модули установлены?
Имеется сайт на движке DLE старинной версии 5.3. Недавно появилась проблема:
блокируется доступ к содержимому сайта с определенных айпи. А конкретно проблема возникает у робота стейной биржи pr sape. приходит робот для индексации размещённой статьи и видит ответ:
<!--bot_true-->
< html>
< head>
< meta name=" robots“ content=" noarchive“ />
< meta name=" googlebot“ content=" nosnippet“ />
</head>
< body>
< div align=center>
< h3> Error. Page cannot be displayed. Please contact your service provider for more details. (12)</h3>
</div>
</body>
</html><! DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN» «http://www.w3.org/tr/1999/rec-html401–19991224/loo...;
< html>
< head>
и только дальше обычный контент страницы.
В шаблоне и файлах движка ничего подобного нет. В исходном коде страницы - которая выдаёт такой ответ боту тоже чисто. Смотрел на сайт глазами роботов — тоже все ок. Но как только с определённого айпи приходит бот — он видит страницу в таком виде. В логах сайта и сервера ничего подозрительного нет, на вирусы проверялся весь сервер. На сервере был установлен мод секьюрити и фаервол - отключены, результат тот же. Пробовал переносить весь сайт на другой сервер - опять то же самое. Что-то именно в файлах сайта выдаёт вот такой ответ именно саповскому боту.
Может кто-то сталкивался с подобным? подскажите куда можно посмотреть, что такое может быть?
предположительно на сайте срабатывает антифлуд или антиспам, хотя в движке все стандартно и ничего не менялось. При этом антифлуд установлен стандартный - протиив флуда в комментах на 30 сек, я его отключил полностью.
скачайте все содержимое сайта (файлы) и попробуйте поискать к примеру тотал командером (с опцией поиска в тексте какого нибудь фрагмента типа "<!--bot_true-->")
можно также скачать весь дамп базы данных и попробовать поискать тоже самое в нем
зы. а как вы узнали что бот сапы "видит" именно такой контент?
скачайте все содержимое сайта (файлы) и попробуйте поискать к примеру тотал командером (с опцией поиска в тексте какого нибудь фрагмента типа "<!--bot_true-->")
можно также скачать весь дамп базы данных и попробовать поискать тоже самое в нем
зы. а как вы узнали что бот сапы "видит" именно такой контент?
Поиском по всем файлам сайта и базе пользовался - ничего нет. В сапе все проданные вечные статьи выпали в ошибку - написал в поддержку узнать причину. Ответили, что их роботу сайт отдаёт специфичный ответ.
Ответили, что их роботу сайт отдаёт специфичный ответ.
А если попробовать в логе доступа по USER_AGEТЕ-у / коду этого ответа поискать?
Некоторые хостеры из-за частоты обращений к сайтам блокируют IP-шники... Но в результате блокировки, как правило, отдаётся HTTP-заголовок ответа соответствующий.
Поиском по всем файлам сайта и базе пользовался - ничего нет.
Если "глюк" переезжает между хостерами - всё-таки дело в сайте.
Попробуйте изменить фразы для поиска (по специфичным вхождениям - например "nosnippet", "1999/rec-html401"), и ещё.. всякие base64 и/или eval посмотреть не помешает. Если нет опасений - отправляйте доступы, посмотрю на чЮдеса.
Проблема была в вирусе, прописавшемся пару лет назад в файле /language/Russian/website.lng - в самом конце целый массив кода, вызывающий соединение с удалённым сайтом. Вирус никак себя не проявлял нашёлся поиском по файлам. спасибо всем за ответы!