Mozgnsk: Имеется сайт на движке DLE старинной версии 5.3. Недавно появилась проблема:
блокируется доступ к содержимому сайта с определенных айпи. А конкретно проблема возникает у робота стейной биржи pr sape. приходит робот для индексации размещённой статьи и видит ответ:
<!--bot_true-->
< html>
< head>
< meta name=" robots“ content=" noarchive“ />
< meta name=" googlebot“ content=" nosnippet“ />
</head>
< body>
< div align=center>
< h3> Error. Page cannot be displayed. Please contact your service provider for more details. (12)</h3>
</div>
</body>
</html><! DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN» «http://www.w3.org/tr/1999/rec-html401–19991224/loo...; < html>
< head>
и только дальше обычный контент страницы.
В шаблоне и файлах движка ничего подобного нет. В исходном коде страницы - которая выдаёт такой ответ боту тоже чисто. Смотрел на сайт глазами роботов — тоже все ок. Но как только с определённого айпи приходит бот — он видит страницу в таком виде. В логах сайта и сервера ничего подозрительного нет, на вирусы проверялся весь сервер. На сервере был установлен мод секьюрити и фаервол - отключены, результат тот же. Пробовал переносить весь сайт на другой сервер - опять то же самое. Что-то именно в файлах сайта выдаёт вот такой ответ именно саповскому боту.
Может кто-то сталкивался с подобным? подскажите куда можно посмотреть, что такое может быть?
предположительно на сайте срабатывает антифлуд или антиспам, хотя в движке все стандартно и ничего не менялось. При этом антифлуд установлен стандартный - протиив флуда в комментах на 30 сек, я его отключил полностью.
скачайте все содержимое сайта (файлы) и попробуйте поискать к примеру тотал командером (с опцией поиска в тексте какого нибудь фрагмента типа "<!--bot_true-->")
можно также скачать весь дамп базы данных и попробовать поискать тоже самое в нем
зы. а как вы узнали что бот сапы "видит" именно такой контент?
скорее всего там доступ ограничен в файле .htaccess
посмотреть можно в консоли в этом каталоге должен лежать этот файл, а в нем прописан путь до файла паролей .htpasswd что - то типа
AuthType Basic
AuthUserFile /home/www/users/AM/pas/.htpasswd
require valid-user
изменить (добавить) пароль можно с помощью консольной команды passwd (в панели ispmanager, возможно тоже можно, но я давно ей не пользовался, не помню)
в DirectAdmin'е в поле Certificate Authority SSL Certificate (Главный (Root) CA Сертификат) вставил сразу все четыре сертификата, полученные в комплекте от центра сертификации - AddTrustExternalCARoot.crt ComodoUTNSGCCA.crt EssentialSSLCA_2.crt и UTNAddTrustSGCCA.crt
теперь мобильные браузеры сообщений об ошибке не показывают и нормально открывают сайт по https
зы. кстати, вопрос (не только к ТС а и всем знающим), есть сайт в сапе (тиц 20, пр 0), домены (и сайту) больше трех лет, последний год (может больше) наблюдается картина - страницы то выпадают из индекса, то опять заходят, соответсвенно ссылки в сапе снимаются на выпавших страницах (заявки отменяются). Так вот если прогнать страницы этого сайта по твиттер акам (например, у ТС) какова вероятность того, что страницы перестанут выпадать из индекса? или это не поможет?
Numizmat: А как это приложение создать? Где можно об этом почитать?
dev.twitter.com авторизуетесь своим логином от твитера, переходите в мои приложения-создать новое приложение (интерфейс на англ)
после создания приложения не забудьте поменять права приложению с дефолтного "только чтения" на "чтение+запись"
потом на странице созданного приложения генерируете собственный токен доступа к нему (в итоге у вас должны получится Consumer key, Consumer secret, Access token, Access token secret
Dales: Добрый день!
Есть аккаунт в твиттере.
Самому постить анонсы статей времени не всегда хватает.
Нужно дать права доступа к аккаунту (с правом публикации) другому человеку.
Как это можно сделать?
Фейсбук, ВК - все просто и понятно (модреаторы, администраторы).
В твиттере облазил все меню, так и не нашел, как подключить администратора.
как вариант - создаете приложение (с правами читать, писать), даете этому приложению доступ к своему акку, настраиваете любой интерфейс (например вэб) к этому приложению, даете доступ к интерфейсу нужному человеку, он с помощью этой штуки публикует материалы в вашем аккаунте (вполне рабочая схема)
Имеется сайт на движке DLE старинной версии 5.3. Недавно появилась проблема:
блокируется доступ к содержимому сайта с определенных айпи. А конкретно проблема возникает у робота стейной биржи pr sape. приходит робот для индексации размещённой статьи и видит ответ:
<!--bot_true-->
< html>
< head>
< meta name=" robots“ content=" noarchive“ />
< meta name=" googlebot“ content=" nosnippet“ />
</head>
< body>
< div align=center>
< h3> Error. Page cannot be displayed. Please contact your service provider for more details. (12)</h3>
</div>
</body>
</html><! DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN» «http://www.w3.org/tr/1999/rec-html401–19991224/loo...;
< html>
< head>
и только дальше обычный контент страницы.
В шаблоне и файлах движка ничего подобного нет. В исходном коде страницы - которая выдаёт такой ответ боту тоже чисто. Смотрел на сайт глазами роботов — тоже все ок. Но как только с определённого айпи приходит бот — он видит страницу в таком виде. В логах сайта и сервера ничего подозрительного нет, на вирусы проверялся весь сервер. На сервере был установлен мод секьюрити и фаервол - отключены, результат тот же. Пробовал переносить весь сайт на другой сервер - опять то же самое. Что-то именно в файлах сайта выдаёт вот такой ответ именно саповскому боту.
Может кто-то сталкивался с подобным? подскажите куда можно посмотреть, что такое может быть?
предположительно на сайте срабатывает антифлуд или антиспам, хотя в движке все стандартно и ничего не менялось. При этом антифлуд установлен стандартный - протиив флуда в комментах на 30 сек, я его отключил полностью.
скачайте все содержимое сайта (файлы) и попробуйте поискать к примеру тотал командером (с опцией поиска в тексте какого нибудь фрагмента типа "<!--bot_true-->")
можно также скачать весь дамп базы данных и попробовать поискать тоже самое в нем
зы. а как вы узнали что бот сапы "видит" именно такой контент?
скорее всего там доступ ограничен в файле .htaccess
посмотреть можно в консоли в этом каталоге должен лежать этот файл, а в нем прописан путь до файла паролей .htpasswd что - то типа
изменить (добавить) пароль можно с помощью консольной команды passwd (в панели ispmanager, возможно тоже можно, но я давно ей не пользовался, не помню)
ArtBlogger, если вам хостер не предоставляет логов - то это просто пустые слова.
Уже несколько дней сайт ддосят, переносил и на обычную впс и на впс с базово защитой от ддоса
хм, что ТС сам логи посмотреть не может?? хоть на впс, хоть на шареде (обычно) логи посмотреть просто, а там и будет видно, есть ддос или нет
Конечно будет: платная и медленная поддержка и постоянные глюки гарантированы.
Говорю после 4 лет опыта.
а чего ж так долго мучались?
сам спросил-сам отвечаю, может кому-то пригодится
в DirectAdmin'е в поле Certificate Authority SSL Certificate (Главный (Root) CA Сертификат) вставил сразу все четыре сертификата, полученные в комплекте от центра сертификации - AddTrustExternalCARoot.crt ComodoUTNSGCCA.crt EssentialSSLCA_2.crt и UTNAddTrustSGCCA.crt
теперь мобильные браузеры сообщений об ошибке не показывают и нормально открывают сайт по https
как-то надо заставить iframe автоматически начинать проигрывать видео.
ну так в ифраме загружается страница с html кодом object'a
если разработчик предусмотрел специальный параметр для автостарта, то он есть, а если нет, то нет
Vittory, Ваша услуга все ещё актуальна?
присоединяюсь
зы. кстати, вопрос (не только к ТС а и всем знающим), есть сайт в сапе (тиц 20, пр 0), домены (и сайту) больше трех лет, последний год (может больше) наблюдается картина - страницы то выпадают из индекса, то опять заходят, соответсвенно ссылки в сапе снимаются на выпавших страницах (заявки отменяются). Так вот если прогнать страницы этого сайта по твиттер акам (например, у ТС) какова вероятность того, что страницы перестанут выпадать из индекса? или это не поможет?
Вон смотрю у многих сервер в Хецзнере а в трасе IP cloudflare.com
а как вы смотрите тогда что в хецзнере?
А как это приложение создать? Где можно об этом почитать?
dev.twitter.com авторизуетесь своим логином от твитера, переходите в мои приложения-создать новое приложение (интерфейс на англ)
после создания приложения не забудьте поменять права приложению с дефолтного "только чтения" на "чтение+запись"
потом на странице созданного приложения генерируете собственный токен доступа к нему (в итоге у вас должны получится Consumer key, Consumer secret, Access token, Access token secret
наконец можно слепить собственный интерфейс, например с помощью пхп библиотеки https://github.com/J7mbo/twitter-api-php (или любой другой, аналогичной)
Добрый день!
Есть аккаунт в твиттере.
Самому постить анонсы статей времени не всегда хватает.
Нужно дать права доступа к аккаунту (с правом публикации) другому человеку.
Как это можно сделать?
Фейсбук, ВК - все просто и понятно (модреаторы, администраторы).
В твиттере облазил все меню, так и не нашел, как подключить администратора.
как вариант - создаете приложение (с правами читать, писать), даете этому приложению доступ к своему акку, настраиваете любой интерфейс (например вэб) к этому приложению, даете доступ к интерфейсу нужному человеку, он с помощью этой штуки публикует материалы в вашем аккаунте (вполне рабочая схема)