Как сис-админ заблокировал доступ поиску Гугла на мой сайт

12
yalol
На сайте с 12.12.2007
Offline
216
496

Всем привет) пару месяцев назад, а может и больше, на моем сайте была высокая нагрузка - боты атаковали и сервер не выдерживал нагрузки. Я обратился за помощью на сайт fl.ru, где выбрал одного из топовых на сайте специалистов. Объяснил проблему, на что он мне сказал, что посмотрит сайт, настроит, но не обещает успеха. За свою работу он взял около 5-6 тысяч рублей, я уже точно не помню.  Сказал, что сервер надо менять и каких-то ботов он «порезал». Настройка производилась на cloudflare.com После его работ сайт по-прежнему вис, а на мой вопросы - он отнекивался и ссылался на сервер. В итоге я поменял сервер - арендовал на firstvds.ru один из неплохих тарифов за более чем 2000 рублей в месяц и сайт заработал быстрее.

И вот совсем недавно я стал замечать просадку трафик из гугла. Решил проверить сайт https://pagespeed.web.dev/analysis/ и ужаснулся от того, что выходит ошибка - 403. То есть все страницы сайта недоступны для робота Гугла.

Потом в настойках clouflare я увидел блокировку ботов из США и Германии. Как только я отключил данную блокировку, как тут же Гугл увидел мой сайт.

Выводы: не стоит надеяться на программистов и разных специалистов, которых в инете тьма-тьмущая - их главная цель - заработать деньги, а как - это неважно. Надо все проверять самостоятельно.


jpg cf_4.jpg
Uncle 301
На сайте с 23.04.2024
Offline
15
#1
yalol :

Выводы: не стоит надеяться на программистов и разных специалистов, которых в инете тьма-тьмущая - их главная цель - заработать деньги, а как - это неважно. Надо все проверять самостоятельно.

Какая неожиданность, просто невероятно.

Я вообще не знаю, как можно какого-то челика фрилансера пустить ковыряться на свой сервер.

Это надо быть очень смелым человеком. Я бы не смог так.

Модерация, которую мы заслужили https://ibb.co/L57tHRS 👍 👍 👍
yalol
На сайте с 12.12.2007
Offline
216
#2
Uncle 301 #:

Какая неожиданность, просто невероятно.

Я вообще не знаю, как можно какого-то челика фрилансера пустить ковыряться на свой сервер.

Это надо быть очень смелым человеком. Я бы не смог так.

Ага. Но я так всегда делал - сам-то я не программист, а больше контент-мейкер.

htexture
На сайте с 29.05.2017
Offline
211
#3
yalol :

Всем привет) пару месяцев назад, а может и больше, на моем сайте была высокая нагрузка - боты атаковали и сервер не выдерживал нагрузки. Я обратился за помощью на сайт fl.ru, где выбрал одного из топовых на сайте специалистов. Объяснил проблему, на что он мне сказал, что посмотрит сайт, настроит, но не обещает успеха. За свою работу он взял около 5-6 тысяч рублей, я уже точно не помню.  Сказал, что сервер надо менять и каких-то ботов он «порезал». Настройка производилась на cloudflare.com После его работ сайт по-прежнему вис, а на мой вопросы - он отнекивался и ссылался на сервер. В итоге я поменял сервер - арендовал на firstvds.ru один из неплохих тарифов за более чем 2000 рублей в месяц и сайт заработал быстрее.

И вот совсем недавно я стал замечать просадку трафик из гугла. Решил проверить сайт https://pagespeed.web.dev/analysis/ и ужаснулся от того, что выходит ошибка - 403. То есть все страницы сайта недоступны для робота Гугла.

Потом в настойках clouflare я увидел блокировку ботов из США и Германии. Как только я отключил данную блокировку, как тут же Гугл увидел мой сайт.

Выводы: не стоит надеяться на программистов и разных специалистов, которых в инете тьма-тьмущая - их главная цель - заработать деньги, а как - это неважно. Надо все проверять самостоятельно.


К чему тема очередная, Вам уже говорили оптимизировать движок и работать над улучшением сервера в его аппаратной части

Можно конфигурацию старого и нового сервера, просто интересно.

E
На сайте с 10.02.2024
Offline
9
#4

Интересный вывод))

Звучит вполне, как  "Я сделал все, что мог. Это он виноват".

По моему вы скинули с себя ответственность и за поиск спеца, и за свой сервак.

Ищите нового спеца, это обычный процесс в любой сфере.

А вдруг дантист накосячит, вы тогда без зубов останетесь с самолечением 😂

W1
На сайте с 22.01.2021
Offline
306
#5
yalol :
Выводы: не стоит надеяться на программистов и разных специалистов, которых в инете тьма-тьмущая - их главная цель - заработать деньги, а как - это неважно.
yalol #:
Но я так всегда делал - сам-то я не программист

Второе не стыкуется с первым. Если всегда так делал - то зачем каждый раз искать "по новой" программиста? Неужели за всё это время не смог найти нескольких проверенных специалистов?

Мой форум - https://webinfo.guru –Там я всегда на связи
TB
На сайте с 16.01.2009
Offline
212
#6
Недоступен для роботов гугла или всё-таки для подобных сервисов проверок? 
yalol
На сайте с 12.12.2007
Offline
216
#7
webinfo #:

Второе не стыкуется с первым. Если всегда так делал - то зачем каждый раз искать "по новой" программиста? Неужели за всё это время не смог найти нескольких проверенных специалистов?

Это сис-админ, а не просто программист. Обычный программист у меня знакомый есть, но в виду событий с СВО (он с Украины), между нами чувствуется холодок. При этом последнюю доработку на другом сайте он тоже сделал с ошибкой  - страницы стали перезагружаться сами по себе, после чего я восстановил сайт из бекапа. Он сказал - что мол та доработка требует больше денег и времени. Я просто забрал деньги и пока желания заказывать у него доработки нет. 

Vladimir SEO
На сайте с 19.10.2011
Offline
1840
#8
TonyBlackberry #:
Недоступен для роботов гугла или всё-таки для подобных сервисов проверок? 

Можно проверить проверкой микроразметки, там обычный бот Гугла приходит 

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
W1
На сайте с 22.01.2021
Offline
306
#9
yalol #:
Это сис-админ, а не просто программист.

Ну та работа, которую он сделал,  - это работа не для сисадмина, и даже не для программиста:

yalol :
Настройка производилась на cloudflare.com

Поэтому рекомендую по подобным вопросам обращаться к проверенному программисту, а уже он пусть советует, что делать дальше.

A7
На сайте с 25.04.2024
Offline
2
#10

Настройка  clouflare - это маст хев должен знать любой владелец сайта. Кстати, автор, у вас нет настройки "хороших ботов" на clouflare. Нет обрезки траффика HTTP 1/SSL.  Загуглите, как надо сделать или на:

Хорошие боты (правило Skip):

(cf.client.bot) or (http.user_agent contains "Mail.RU_Bot")

Проверка на HTTP1/SSL (правило Block)

(not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (not ssl)

Ну и можно проверять тех, кто без referer (правило Managed Challenge):

(http.referer eq "")

А у вас тупо какие-то блокировки стоят по странам (США), естественно, до вашего сайта хорошие боты не дойдут просто. Весьма странная настройка CF.  Три отдельных правила я вам дал, разместите их отдельно. А дальше уже отсекайте то, что вам нужно. Если нужно что-то разрешить, например валидатор w3c какой-нибудь, добавляйте в правило №1 по user_agent


Для собственного сервера тоже не шибко много надо настраивать, особенно если стоит панель управления. Настроить UFW, сменить SSH порт на другой. 

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий