У сайта ~2000 поддоменов. Бот обращается только к главной странице, не понимаю зачем нужно делать 30 000 обращений в час.
При настройке Last-modified , для правильного ответа 304, вы одновременно должны будете настроить и ответ сервера expires У Антоний в комментарии ссылка на проверку
На данный момент, у вас ответ expires, явно по умолчанию выдает сервер , какого нибудь 1981 года
Наличие заголовка не снимает нагрузку с сервера, а только уменьшит трафик для клиента/поисковика (который хранит у себя старую версию страницы). А вот кеширование - снимает нагрузку с севера.
Ну да трафик это не нагрузка?🤣 - если без заголовков, роботы ПС обходят весь сайт в тысячи и десятки тысяч страниц У ТС - скриншот с логами: 100 000 запросов. - с заголовками, отдаются только изменившиеся и новые страницы: десяток - сотню страниц
Последние 2 недели от ботов Яндекса приходит такое количество запросов, что сервер падает.
Чтобы сервер не падал, для всех роботов ПС настраиваем ответ сервера last-modified ( гуглим что и как настраивается ) Дата LM должна быть датой создания или модификации страницы
После настройки ответа сервера, скорость обхода можно поставить максимальную
minsky#: К примеру сколько ты будешь париться с зенькой, что бы написать шаблон или заказать за приличные бабки для постинга хотя бы в пару десятков CMS, то проще уже взять софтину
Зенка однозначно, но сама суть ее не в том, что ее надо освоить и париться с ней🤣 Сама суть зенки, париться затем в шаблонах для нее. Т.е не самой зенкой а с социалкой, а для этого уже нужна практика работы с теми же самыми социалками с каждой, зачем и для чего и как обойти все эти баны, и постоянная настройка.
Зенка однозначно. Исходя из того, ВСЕМ проще взять софтину Зенка, дает возможность разработать шаблон под свое видение: - VK/ Основное нужно время париться с ВК а не с зенкой
И тд с каждой соц. по отдельности, а не кучей как у вас одной на всех софтиной Потому на серче у всех теоретиков и вывод: на ВК трафа нет, оттуда все ушли, толку от постинга нет. Соглашусь нет толка ( т.к софтина общая и общий спам подход )
Ты, случаем, не куришь чего запрещенного...? В смысле прям счас, утром? То есть, ты утверждаешь, что РКН банит NS-сервера? Ты уверен в своих словах? Не IP прокси, не IP конечный, а вот так вот хряком NS??? На котором еще 500 000 зон?
Да никакой, но это если что менять - то лазить по 7 ЛК регистраторов...
На практике дойдет, что он банит и как и почему у тебя сайт перестал работать
Ленивый ты😂 Один раз пройтись, и забыть про ДНС сервера. Ну или дальше живи со свистопляской на FirstVDS
Причем тут РКН, если я юзаю только DNS хостинг? Объясни.
Все бы хорошо, но у меня там куча - .net, .fi, .se, .de, .ru, .com да еще и .at - и всех по одному...
Правильнее DNS CF, который юзаешь не один. И если кто то другой подпадает под РКН, все "соседи", тоже недоступны в РФ. В бурже естественно все работает
Какая разница какая зона. Ты же у регистратора для домена прописываешь NS ( т.е собрался для всех доменов прописывать ДНС CF ) Создай у регистратора и пропиши ns1.domen.de - IP1, и тд Для основного домена, прописываю два IP, для остальных один
При любой смене хостинга или сервера - NS тоже самое, меняешь только IP
PS Так полагаю, можно назвать это - использование ДНС регистратора
Яндекс отпал - потому что яндекс, Селектел думал - но насторожили отзывы. Победил в неравной борьбе CF.
Я правильно все понял? Ойфон в сфере DNS-хостинга типа?
Зря победил, и не те вопросы тебя волнуют, ибо их можно все отредактировать, если не согласен. А, вот РКН не отредактируешь, если он с чем то не будет согласен) т.е СF можно использовать только для буржа, если у тебя коммерческий сайт
Простите, что влезаю... Но "честно работать" это значит "затапливать интернет никому не нужными ГС ради размещения на них рекламы"? Так именно из-за таких "честных работников" страдают сейчас нормальные интернет-магазины, авторские блоги и прочий по-настоящему ценный контент Интернета.
Пусть лучше ГС, чем уйдут в Дзен, с которым у вас у всех проблемы
У сайта ~2000 поддоменов. Бот обращается только к главной странице, не понимаю зачем нужно делать 30 000 обращений в час.
При настройке Last-modified , для правильного ответа 304, вы одновременно должны будете настроить и ответ сервера expires
У Антоний в комментарии ссылка на проверку
На данный момент, у вас ответ expires, явно по умолчанию выдает сервер , какого нибудь 1981 года
Наличие заголовка не снимает нагрузку с сервера, а только уменьшит трафик для клиента/поисковика (который хранит у себя старую версию страницы). А вот кеширование - снимает нагрузку с севера.
- если без заголовков, роботы ПС обходят весь сайт в тысячи и десятки тысяч страниц
У ТС - скриншот с логами: 100 000 запросов.
- с заголовками, отдаются только изменившиеся и новые страницы: десяток - сотню страниц
Последние 2 недели от ботов Яндекса приходит такое количество запросов, что сервер падает.
Чтобы сервер не падал, для всех роботов ПС настраиваем ответ сервера last-modified ( гуглим что и как настраивается )
Дата LM должна быть датой создания или модификации страницы
После настройки ответа сервера, скорость обхода можно поставить максимальную
Ждать бесполезно. Ситуация такая, у них не осталось нормальных программистов. Кто, куда разъехались и по каким причинам, думаю понятно.
Можно в ЛС, в этом случае ( бесплатно) пишу что сделать, делаете сами или нанимаете программиста
К примеру сколько ты будешь париться с зенькой, что бы написать шаблон или заказать за приличные бабки для постинга хотя бы в пару десятков CMS, то проще уже взять софтину
Зенка однозначно, но сама суть ее не в том, что ее надо освоить и париться с ней🤣
Сама суть зенки, париться затем в шаблонах для нее. Т.е не самой зенкой а с социалкой, а для этого уже нужна практика работы с теми же самыми социалками с каждой, зачем и для чего и как обойти все эти баны, и постоянная настройка.
Зенка однозначно. Исходя из того, ВСЕМ проще взять софтину
Зенка, дает возможность разработать шаблон под свое видение:
- VK/ Основное нужно время париться с ВК а не с зенкой
И тд с каждой соц. по отдельности, а не кучей как у вас одной на всех софтиной
Потому на серче у всех теоретиков и вывод: на ВК трафа нет, оттуда все ушли, толку от постинга нет.
Соглашусь нет толка ( т.к софтина общая и общий спам подход )
Ты, случаем, не куришь чего запрещенного...? В смысле прям счас, утром? То есть, ты утверждаешь, что РКН банит NS-сервера? Ты уверен в своих словах? Не IP прокси, не IP конечный, а вот так вот хряком NS??? На котором еще 500 000 зон?
Да никакой, но это если что менять - то лазить по 7 ЛК регистраторов...
Ленивый ты😂
Один раз пройтись, и забыть про ДНС сервера. Ну или дальше живи со свистопляской на FirstVDS
Причем тут РКН, если я юзаю только DNS хостинг? Объясни.
Все бы хорошо, но у меня там куча - .net, .fi, .se, .de, .ru, .com да еще и .at - и всех по одному...
Правильнее DNS CF, который юзаешь не один. И если кто то другой подпадает под РКН, все "соседи", тоже недоступны в РФ. В бурже естественно все работает
Какая разница какая зона.
Ты же у регистратора для домена прописываешь NS ( т.е собрался для всех доменов прописывать ДНС CF )
Создай у регистратора и пропиши ns1.domen.de - IP1, и тд
Для основного домена, прописываю два IP, для остальных один
При любой смене хостинга или сервера - NS тоже самое, меняешь только IP
PS Так полагаю, можно назвать это - использование ДНС регистратора
Яндекс отпал - потому что яндекс, Селектел думал - но насторожили отзывы. Победил в неравной борьбе CF.
Я правильно все понял? Ойфон в сфере DNS-хостинга типа?
Зря победил, и не те вопросы тебя волнуют, ибо их можно все отредактировать, если не согласен.
А, вот РКН не отредактируешь, если он с чем то не будет согласен)
т.е СF можно использовать только для буржа, если у тебя коммерческий сайт
PS
для FirstVDS, использую NS регистратора домена
Я ща для себя открыл покупку мертвых аккаунтов вк и пост от их имени в сообщества через программы.
Кто-нибудь этим занимался, какой выхлоп?
Нулевой, даже если использовать не мертвые акки с *** подписчиками ( которых у меня с **)
Акки используются, но не для спама в посты
Можно поподробнее? Что значит "хорошее продвижение" и "бестолку"?
Два варианта, либо учитывается, либо нет. Гуглите, все расписано еще лет 15 назад
Простите, что влезаю... Но "честно работать" это значит "затапливать интернет никому не нужными ГС ради размещения на них рекламы"? Так именно из-за таких "честных работников" страдают сейчас нормальные интернет-магазины, авторские блоги и прочий по-настоящему ценный контент Интернета.