Mik Foxi#: поведенческие (браузерные) грузят. убрать обработку картинок из nginx - это передать на обработку в apache, нагрузки добавит еще больше серверу )))
«Коллега, спасибо за совет про нагрузку. Но давайте посмотрим правде в глаза.
Я владелец интернет-магазина с уникальными авторскими фото. Мои фотографии воруют:
На Озоне (докажи, что твои — и это недели разбирательств)
На WB (с теми же карточками)
На Aliexpress (китайцы вообще не парятся)
Конкуренты копируют в свои магазины и продают дешевле
В декабре кто-то продал на маркетплейсе моих товаров на 300к, а я узнал об этом случайно. Это мои упущенные деньги. Мои прямые убытки.
У меня 15 тысяч внешних ссылок с 900 сайтов — это не SEO-плюс, это мои фото гуляют по сети без спроса.
Мне плевать на нагрузку на сервер. Если надо — я куплю тариф подороже. Но я не могу допустить, чтобы мой уникальный контент воровали и продавали без моего ведома.
Поэтому да, я убрал картинки из кеша Nginx. Да, я отдал их в Apache и режу по User-Agent. Да, нагрузка чуть выше. Но парсерaiohttp теперь получает 403, и мои фото перестали воровать в промышленных масштабах.
У нас разные задачи. У вас — производительность. У меня — сохранение авторского контента и денег. Не надо мерить всех под одну гребёнку.»
Шаред на реге. внизу убираем расширения фоток из кеша.
Сам себе комментирую.Логи наше всё. ЛОги глянул. вынюхали логин админский. В цербере вкрутил защиту . завёл новый админский логин (старый блок) и скрыл показывать его ID в цербере. К вопросу зачем нужен цербер.. Далее в логах увижу всю ботосеть откуда прут атаки на логин с подсетью. И позже закину в хтакцесс. просто красиво и доступно.
Раз про ботов. Последний пост.
# Закрыть уязвимость перебора пользователей
RewriteEngine On
RewriteCond %{QUERY_STRING} ^author=([0-9]+) [NC]
RewriteRule ^(.*)$ / [R=301,L]
# Закрыть доступ к страницам авторов (/author/логин/)
RewriteCond %{REQUEST_URI} ^/author/ [NC]
RewriteRule ^(.*)$ / [R=301,L]
твойсайт/?author=1 Если пишешь т ов тсроке браузера если ты не видел и не трогал профиль.. будет логин...:) нужно ручками сментиь отображаемое имя.. и или в акцессе закрыть кодом.. топорно но работает.
+ Как уже скзаал кажды йдень разбирать логи и ставтьи цербер.ю в цербере ка блокирвать так и прятат ьвсякие вещи типа доступа к админке. + на шареде у тебюя Ngnix будет отдавать кешем фотки. и твои блокировки не будут работать. Убрать из кеша расширения фоток. ТОгда апах и акцесс будет рабоать.Но это нагрузка на сревак.
ловить баланс . Да в цербере все адрес адиапазоны поисовоков в белом списке. Можно и сюда в акцсс вкинуть их. мне лень.
Он не убирает ботов, а только тех кто ломится к внутренним файлам.
Я убрад ботов. Цербер показывает тебе сводку боевую. Далее берет хтпкцесс ибаним дивпазогами диджиталокен и иные ботосети с впски. Ну и сам дог файл за сутки + сводка хостинга за сцтки.
Ибо есть скриптовые боты с хостнгов типа майкрсоофт или диджиталокеан. Их баним по диапазону с маской сети в хтакцессе.
Это тупо лог смотреть стату за вчера и вычленять их.
Если на вордпрессе поставь вп цербер в помощь.
Далее парсеры.. так прут толпой для парсинша фоток ( у меня). Ngnix у меняотбал с кеша фотки. Если он отдает с кеша то акцесс не работает.переписал акцесс и убрал фото с кеша. Стал тоже рубить их. Ну ...у всех они прут. Все их отсекают. Я в белый лист внес все поисковики боты. И в черный когда ктото развоо штучно чтото вынюхивает. На постоянку скан в блок в акцесс.
И мой сервак ожил поисковые боты активно сканить начали.
Так же стоит в днс убрать ипв6. На время хотя бы..
далее 1 страницы читать лень. 1. смена движка. (поднять отдельно сайт) 2...прежде чем что то мутить с карточками.. Какая стратегия? СЕО собрали? на свой товар примерили? Далее объединение товара по вариациям.. Тут и да и нет. исходя из СЕО стратегии. товар нужно объединять и нужно расклеивать. нужно сомтреть. вот так дат ьуниверсальны йсовет что всем подошёл .. не бывает . Я и объединяю и расклеиваю товар. 3. Торгуя на МП(я там тоже есть). Вы зачем делаете свой магазин? Ценовой разрыв етсь нету, товар разный или одинаковый? Тту может вылезти так что МП будут парсит ьваши цены с вашего сайта и вгонять вас в акции и маржа упадёт ниже плинтуса.
4...После всех переделок. из опыта.. Ты влетаеш ьв топ выдачи . местам ипервый вторй третий.. пододвинум МП. и ловишь волну...нет волнищу.. цнами заходово поведенческих с нулями. чт орушати вылетаешь в трубень... вообще из поиска.. Попасть в топ ЛЕГКО. сложно там удержаться. Сайт выдержит атаки? кто этим будет заниматься7 когда начнут парсить всё с сайта от текста до фоток. :)
Это так кажетс ясоздал сайти озолотился..Он начнёт тольк очерез полгодапотихонку приносить чтото. и то нужно чуть лине каждй день посматривать за ним и подкурчивать аккуратно..
5а. МП вводят новы еслова в оборот и продвигают их и захватыват в выдаче. Ты готво повоевать с ними за эти слова? Эт освоя стратегия. КОгда надо держать карточку наготове в черновиках. выпутсти ьеё в нужное время, и влить денег в рекламу.. Я тяну екомы как на МП так и интренет магазины. Я опущу про воронки ЦРМ, скидки хроводы краусели с отзывами итдитп. итд. на своём сайте...
Покупка ссылок чуда не даст. Любой интернет магазин + торговля на МП это война . И тут комплексно нужно работать и не в одного а командой. ЧТОбы и на МП неуронитьпродажи и магазин раскачать в продажах. вкратце накидал.
ЗЫ Как тольк оты влетаеш ьв топ ,те же МП. .коненчо не официально.. :) .. .пришлют тебе толп уботов..ч то и ддосит ьбудут и поведенку тебе сбивать.... пр овойну в рекламе я умолчу та мбюджеты десятко миллионные.. в месяц. .и то ... Формировать свою базу клиентскую. и карусели тьи хороводит ьскидками внутри своего сайта. делая разный продукт и разную цену. Но с МП можно якорить клиента в свою базу. не всех..но можно.. Это годы работы.. За 1 день месяц вечерок под конячок.... не начинать. проще силы вкинуть в МП. Просто вы стали рабом МП. .и типа думаете что вот сейчас сво йсайт намучу и попрут продажи.. НЕТ! Вы в рабстве и оттуда хер выскочите. даже выйдя оттуда твой сайт будет под ударом. .ибо им выгодно.:)
Сайт резко упал, не знаю почему, ищу причины. Раньше в топ 3 вебмастер было более 30 страниц со списками, теперь 1. Дублей нет в вебмастере. Им писала, говорят нет на сайте фильтров, все хорошо просто позиции поменялись. Но у них всегда ответы не о чем. Так резко?
Подскажите пожалуйста, что не так:
User-Agent: YandexImages
Allow: /wp-content/uploads
User-Agent: Googlebot-Image
Allow: /wp-content/uploads
User-agent: Mediapartners-Google
Allow: /
User-agent: Twitterbot
Allow: /
User-Agent: YandexBot
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /author
Disallow: /blog
Disallow: /wp-json
Disallow: /wp-login.php
Disallow: */feed*
Allow: /feed/turbo/
Allow: /wp-content/uploads
Disallow: /category
Disallow: /attachment
Disallow: */page/
Disallow: */amp
Disallow: /korzina/
Disallow: /korzina
Disallow: /comments/
Disallow: /comments
Disallow: */comments
Disallow: /tag/
Disallow: /search/
Disallow: /product
Disallow: /product/
Disallow: /users/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Allow: *.css?ver=*
Crawl-delay: 20
User-Agent: *
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /author
Disallow: *readme.txt
Disallow: /blog
Disallow: /wp-json
Disallow: /wp-login.php
Disallow: */feed*
Allow: /wp-content/uploads
Disallow: /attachment
Disallow: */page/
Disallow: /korzina/
Disallow: /korzina
Disallow: /comments/
Disallow: /comments
Disallow: */comments
Disallow: /tag/
Disallow: /search/
Disallow: /users/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Allow: *?ver=*
Crawl-delay: 20
Sitemap: https://мой сайт/sitemap.xml
ответ ИИ
Ситуация очень похожа на **алгоритмическую санкцию** (фильтр), а не на техническую ошибку. Ответ поддержки «всё хорошо, просто позиции поменялись» — стандартная отписка, они редко признают фильтры вручную.
Давайте разберу ваш robots.txt — в нём есть **критическая ошибка**, которая могла убить весь трафик со страниц со списками.
### 1. Самая вероятная причина падения (90%)
Вы запретили индексацию **всех пагинированных страниц** для всех роботов, включая Яндекс и Google:
`Disallow: */page/`
Это означает, что если у вас есть страница:
`site.ru/spisok-tovarov/page/2/`
`site.ru/spisok-tovarov/page/3/`
— она **выпадает из индекса**.
**Как это убило топ 3?**
Поисковики любят длинные списки (каталоги, подборки). Если у вас было 30 страниц со списками (например, «Топ-100 товаров страница 1», «...страница 2»), то после запрета `*/page/` в индексе осталась только первая страница каждой рубрики. Все остальные 29 выпали. Отсюда резкое падение с 30 до 1 страницы в выдаче.
### 2. Другие опасные директивы в robots.txt
- **`Disallow: /category`** — вы запретили индексацию всех категорий. Если ваши списки лежали в `/category/...` — они все выпали.
- **`Disallow: /tag/`** — запрещены метки (тоже источник трафика по длинному хвосту).
- **`Disallow: /blog`** — если списки в блоге, они тоже под запретом.
- **`Disallow: /product`** — запрещены страницы товаров (если списки вели на товары, они не индексируются).
### 3. Что конкретно произошло?
Раньше поисковики могли игнорировать ваши запреты или робот не сразу их применил. После обновления алгоритмов они стали строже соблюдать `robots.txt`. В итоге:
- Из индекса убрали все `page/2`, `page/3` и т.д.
- Убрали все `category` и `tag`.
- В индексе остались только главные страницы рубрик.
**Проверьте сами:**
Введите в Яндексе/Google: `site:вашсайт.ru /page/`
Скорее всего, вы увидите «Ничего не найдено».
### 4. Что делать срочно?
1. **Удалите** строку `Disallow: */page/` для всех User-agent.
2. **Удалите** `Disallow: /category` и `Disallow: /tag` (если по ним был трафик).
3. **Проверьте `Disallow: /blog`** — если списки там, тоже уберите.
4. После правок дождитесь, когда робот перечитает robots.txt (1-2 дня).
5. **Переиндексация:** В Яндекс.Вебмастере → Индексирование → Переобход страниц — отправьте главную страницу и несколько старых страниц со списками.
### 5. Что еще проверить, если после правок не взлетит?
- **Мета-теги noindex** на страницах списков (вдруг их проставил SEO-плагин).
- **Канонические ссылки** (canonical) — не ведут ли с `/page/2/` на `/page/1/`?
- **Яндекс.Вебмастер** → Диагностика → Индексирование страниц — посмотрите причину исключения ваших страниц (там будет «Запрещено в robots.txt» или «Не индексируется по правилам»).
### Итог
**Не слушайте поддержку.** У вас жестко закрыта пагинация и категории. Робот выполняет ваши же правила и вырезал все глубокие страницы. Исправьте robots.txt — через 1-2 недели позиции начнут возвращаться (но не мгновенно).
Сделайте так для начала (упрощенный безопасный robots.txt):
А все тонкости с `*/page/` и категориями оставьте на совесть SEO-плагинов (Yoast/Rank Math) — они управляют этим через метатеги, а не через robots.txt.
Про это речь? Интернет магазин . основное фотки:) Работаю в даный момент над проблемой... В купе со многим сработало как наведения логики и порядка.. ндженикс кешил фотки и отдавал их не смотря на запреты в акцесс итд.Убрал в ндженкисе , куча правил в акцесс. куча банов подсетями по диапазонам */8-/16 Ловил цербером. смысла нету адреса публиковать? у каждого свои будут. И ...много работы внутри сайта..переименонвывание фоток в правлиьыне названиея..там ещё ресайз фоток итд итп. . Полный Пэ был.. Пока сайт отсывает и стабилизируется.впереди СЕО работа.. огромная.. Вчера просто полыхнуло пробили защиту.. 15т запросов за стуки...Сегодня затушил должно быть не более 1500. Каждый день разбор логов и работа работа работа.
Вобщем картина примерно нарисовалась понятная. Подсобрал стату логи анализ через ИИ старых логов итд. Идёт волна "прокликивания" сайта. заход в корень до 9 сек макс. С учётом моей скорости загрузки мобильной версии сайта по пейджспиду 98% то 3 сек в основном с быстрых хостингов. И за переходом в / катиться волна брутефорса и иных атак итд. С одного IP короткие заходы идут с разхницей в 5 сек. При этом менятеся система с андороида на Айфон и браузер. Всё в корень заход. Волны пошли с 12 октября. . по нарастающей. подписывали статейки на коих в топ выносило временами). в ноябре дали рекламу и усилиллись атаки. Вторй интернет магазин, тот же IP хостинг но другой домен. Тм чтуь лучше ситуация..
ТАк как первый магаз не взлетев умер :) в поисковой выдаче. Стал блочит ьдиапазонами в коих и гугл сервера тоже присуствовали. Все эти игры с блокировками (и суточный снос IPV6 в ДНС), сократило колво атак кратно..
ЗЫ Фаер поставил буквально на днях.. который и открыл всю красоту. Прос то для понимания. .за 1 день набегает порядка 3500 событий подбора пороля или перебора файлов итдитп. В оснвном с облачных майкрософта, и иных всяких бангладей мароко итд. не знал что в бангладеше есть инет :) Списки что показывал удалил и прешёл на точечные баны. Ибо надо индексироваться и как то дальше жить.
Всем пока, буду дальше разбираться.
ЗЫЫ Простр написал стаью и дало за месяц +500 переходов на сайт по ней и продажи.
поведенческие (браузерные) грузят. убрать обработку картинок из nginx - это передать на обработку в apache, нагрузки добавит еще больше серверу )))
Шаред на реге. внизу убираем расширения фоток из кеша.
Сам себе комментирую.Логи наше всё.
ЛОги глянул. вынюхали логин админский.
В цербере вкрутил защиту . завёл новый админский логин (старый блок) и скрыл показывать его ID в цербере.
К вопросу зачем нужен цербер..
Далее в логах увижу всю ботосеть откуда прут атаки на логин с подсетью.
И позже закину в хтакцесс.
просто красиво и доступно.
Раз про ботов. Последний пост.
# Закрыть уязвимость перебора пользователей
RewriteEngine On
RewriteCond %{QUERY_STRING} ^author=([0-9]+) [NC]
RewriteRule ^(.*)$ / [R=301,L]
# Закрыть доступ к страницам авторов (/author/логин/)
RewriteCond %{REQUEST_URI} ^/author/ [NC]
RewriteRule ^(.*)$ / [R=301,L]
твойсайт/?author=1
Если пишешь т ов тсроке браузера если ты не видел и не трогал профиль.. будет логин...:)
нужно ручками сментиь отображаемое имя..
и или в акцессе закрыть кодом..
топорно но работает.
Шаред на реге. внизу убираем расширения фоток из кеша.
Интересно как их убрать на шаред хостинге ? 🤔
+
Как уже скзаал кажды йдень разбирать логи и ставтьи цербер.ю в цербере ка блокирвать так и прятат ьвсякие вещи типа доступа к админке.
+
на шареде у тебюя Ngnix будет отдавать кешем фотки. и твои блокировки не будут работать.
Убрать из кеша расширения фоток. ТОгда апах и акцесс будет рабоать.Но это нагрузка на сревак.
ловить баланс .
Да в цербере все адрес адиапазоны поисовоков в белом списке.
Можно и сюда в акцсс вкинуть их. мне лень.
Он не убирает ботов, а только тех кто ломится к внутренним файлам.
Я убрад ботов. Цербер показывает тебе сводку боевую. Далее берет хтпкцесс ибаним дивпазогами диджиталокен и иные ботосети с впски. Ну и сам дог файл за сутки + сводка хостинга за сцтки.
далее 1 страницы читать лень.
1. смена движка. (поднять отдельно сайт)
2...прежде чем что то мутить с карточками..
Какая стратегия?
СЕО собрали? на свой товар примерили?
Далее объединение товара по вариациям..
Тут и да и нет. исходя из СЕО стратегии.
товар нужно объединять и нужно расклеивать.
нужно сомтреть. вот так дат ьуниверсальны йсовет что всем подошёл .. не бывает .
Я и объединяю и расклеиваю товар.
3. Торгуя на МП(я там тоже есть).
Вы зачем делаете свой магазин? Ценовой разрыв етсь нету, товар разный или одинаковый? Тту может вылезти так что МП будут парсит ьваши цены с вашего сайта и вгонять вас в акции и маржа упадёт ниже плинтуса.
4...После всех переделок. из опыта..
Ты влетаеш ьв топ выдачи . местам ипервый вторй третий.. пододвинум МП. и ловишь волну...нет волнищу.. цнами заходово поведенческих с нулями. чт орушати вылетаешь в трубень... вообще из поиска..
Попасть в топ ЛЕГКО. сложно там удержаться. Сайт выдержит атаки? кто этим будет заниматься7 когда начнут парсить всё с сайта от текста до фоток. :)
Это так кажетс ясоздал сайти озолотился..Он начнёт тольк очерез полгодапотихонку приносить чтото. и то нужно чуть лине каждй день посматривать за ним и подкурчивать аккуратно..
5а.
МП вводят новы еслова в оборот и продвигают их и захватыват в выдаче. Ты готво повоевать с ними за эти слова? Эт освоя стратегия. КОгда надо держать карточку наготове в черновиках. выпутсти ьеё в нужное время, и влить денег в рекламу..
Я тяну екомы как на МП так и интренет магазины.
Я опущу про воронки ЦРМ, скидки хроводы краусели с отзывами итдитп. итд. на своём сайте...
Покупка ссылок чуда не даст.
Любой интернет магазин + торговля на МП это война . И тут комплексно нужно работать и не в одного а командой. ЧТОбы и на МП неуронитьпродажи и магазин раскачать в продажах.
вкратце накидал.
ЗЫ
Как тольк оты влетаеш ьв топ ,те же МП. .коненчо не официально.. :) .. .пришлют тебе толп уботов..ч то и ддосит ьбудут и поведенку тебе сбивать.... пр овойну в рекламе я умолчу та мбюджеты десятко миллионные.. в месяц. .и то ...
Формировать свою базу клиентскую. и карусели тьи хороводит ьскидками внутри своего сайта. делая разный продукт и разную цену. Но с МП можно якорить клиента в свою базу. не всех..но можно.. Это годы работы..
За 1 день месяц вечерок под конячок.... не начинать. проще силы вкинуть в МП.
Просто вы стали рабом МП. .и типа думаете что вот сейчас сво йсайт намучу и попрут продажи.. НЕТ!
Вы в рабстве и оттуда хер выскочите.
даже выйдя оттуда твой сайт будет под ударом. .ибо им выгодно.:)
Сайт резко упал, не знаю почему, ищу причины. Раньше в топ 3 вебмастер было более 30 страниц со списками, теперь 1. Дублей нет в вебмастере. Им писала, говорят нет на сайте фильтров, все хорошо просто позиции поменялись. Но у них всегда ответы не о чем. Так резко?
Подскажите пожалуйста, что не так:
User-Agent: YandexImages
Allow: /wp-content/uploads
User-Agent: Googlebot-Image
Allow: /wp-content/uploads
User-agent: Mediapartners-Google
Allow: /
User-agent: Twitterbot
Allow: /
User-Agent: YandexBot
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /author
Disallow: /blog
Disallow: /wp-json
Disallow: /wp-login.php
Disallow: */feed*
Allow: /feed/turbo/
Allow: /wp-content/uploads
Disallow: /category
Disallow: /attachment
Disallow: */page/
Disallow: */amp
Disallow: /korzina/
Disallow: /korzina
Disallow: /comments/
Disallow: /comments
Disallow: */comments
Disallow: /tag/
Disallow: /search/
Disallow: /product
Disallow: /product/
Disallow: /users/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Allow: *.css?ver=*
Crawl-delay: 20
User-Agent: *
Disallow: /cgi-bin
Disallow: /xmlrpc.php
Disallow: /author
Disallow: *readme.txt
Disallow: /blog
Disallow: /wp-json
Disallow: /wp-login.php
Disallow: */feed*
Allow: /wp-content/uploads
Disallow: /attachment
Disallow: */page/
Disallow: /korzina/
Disallow: /korzina
Disallow: /comments/
Disallow: /comments
Disallow: */comments
Disallow: /tag/
Disallow: /search/
Disallow: /users/
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Allow: *?ver=*
Crawl-delay: 20
Sitemap: https://мой сайт/sitemap.xml
Про это речь?
Интернет магазин . основное фотки:)
Работаю в даный момент над проблемой...
В купе со многим сработало как наведения логики и порядка..
ндженикс кешил фотки и отдавал их не смотря на запреты в акцесс итд.Убрал в ндженкисе , куча правил в акцесс. куча банов подсетями по диапазонам */8-/16
Ловил цербером. смысла нету адреса публиковать? у каждого свои будут.
И ...много работы внутри сайта..переименонвывание фоток в правлиьыне названиея..там ещё ресайз фоток итд итп. .
Полный Пэ был..
Пока сайт отсывает и стабилизируется.впереди СЕО работа.. огромная..
Вчера просто полыхнуло пробили защиту.. 15т запросов за стуки...Сегодня затушил должно быть не более 1500.
Каждый день разбор логов и работа работа работа.
Вобщем картина примерно нарисовалась понятная.
Подсобрал стату логи анализ через ИИ старых логов итд.
Идёт волна "прокликивания" сайта. заход в корень до 9 сек макс.
С учётом моей скорости загрузки мобильной версии сайта по пейджспиду 98%
то 3 сек в основном с быстрых хостингов. И за переходом в / катиться волна брутефорса и иных атак итд.
С одного IP короткие заходы идут с разхницей в 5 сек. При этом менятеся система с андороида на Айфон и браузер.
Всё в корень заход.
Волны пошли с 12 октября. . по нарастающей. подписывали статейки на коих в топ выносило временами). в ноябре дали рекламу и усилиллись атаки.
Вторй интернет магазин, тот же IP хостинг но другой домен. Тм чтуь лучше ситуация..
ТАк как первый магаз не взлетев умер :) в поисковой выдаче.
Стал блочит ьдиапазонами в коих и гугл сервера тоже присуствовали.
Все эти игры с блокировками (и суточный снос IPV6 в ДНС), сократило колво атак кратно..
ЗЫ
Фаер поставил буквально на днях.. который и открыл всю красоту.
Прос то для понимания. .за 1 день набегает порядка 3500 событий подбора пороля или перебора файлов итдитп. В оснвном с облачных майкрософта, и иных всяких бангладей мароко итд. не знал что в бангладеше есть инет :)
Списки что показывал удалил и прешёл на точечные баны. Ибо надо индексироваться и как то дальше жить.
Всем пока, буду дальше разбираться.
ЗЫЫ
Простр написал стаью и дало за месяц +500 переходов на сайт по ней и продажи.