JJwar : Удалить все эти страницы - нет возможности, сайт не сможет функционировать без них.
JJwar#: а такое технически возможно ? Чтобы бот получал 302, а пользователь в браузере 200 ? Лучше тогда уж 301 ставить, зачем 302 то ?
JJwar#: сайт вообще на скрипте написан, как бот вообще находит ссылки эти - я не понимаю, не прогер я
После названия темы, тему нужно было начинать с последней вашей фразы - не прогер я В этом случае единственный совет: нанять прогера и удалить все дубли страниц сайта.
Других практических решений нет, есть только теория которую вы не в состоянии понять.
Заявлялось, что ссылки и ПФ - зло! Ссылки покупают для обмана клиентов, они не работают, а на хорошие сайты ссылки появляются сами)))
Пора бы написать бота, который будет регистрировать домены, собирать семантику, генерировать сайты, двигать в топ и монетизироваться 😂
Так этих заявлений с момента создания серча, всегда полно было, ну еще одно заявление, чего кипишить)
Нафига его писать? Простейший "Автомат" стоит, который уж лет 10 генерит сайты, двигает в топ и монетеризирует. Пару VPS под это, годами туда не заглядываю
В чате не описываешь проблему, а просишь пригласить вначале "оператора", затем у оператора - пригласить "старшего менеджера", только так можно решить вопрос. И только он, может заблокировать автоматическую проверку. В любом другом случае, автомат все равно рано или поздно заблочит
И что, никто так не нашел хорошее место для размещениия, лучше чем у маркетплейсов? На серче даже есть тема с рекламой( не моей) на это место, а у вас все одно - ничего нельзя поделать
Конечно нельзя, бюджет еше тратить🤣 Есть тысячи бесплатных вариантов
Гитхаб мне никак не поможет, я же программист - давно все просмотрел, все старо как мир) Ну и ты же знаешь, что в ТОП, продвигаю методами, которыми никто не продвигает. Вот "НН" начал рекламить ТОП1 в том же направлении ( месяц назад примерно), но опять же накруткой))
ВОПРОС: есть ли какой то способ запретить поисковику СКАНИРОВАТЬ весь подобный "технический" мусор ?
Запреты в текстовом роботсе, метароботсе, отдача 404 ответа - всё это не срабатывает, поисковый бот всё равно СКАНИРУЕТ весь этот массив страниц.
Отдать боту по ссылке мусора ответ 302 Бот будет сканировать ссылки и получать контент только 302 перенаправленных (разрешенных) страниц и не получать контент технического мусора
PS Если настроишь last-modified и 304, совсем уменьшишь сканирование
Попробуй сам и посчитай. Какой гос долг у сша, насколько он постоянно увеличивается, как долго это длится.
5 лет назад тоже думал, что скоро кирдык, но он еще долго протянет, верим мы в него или нет)
Некоторые в биткойны вкладываются, а потом вешаются...
Яндекс стал "убивать сайты". а техподдержка, типа Платон, не только игнорит письма и неудобные вопросы, но и просто не отвечает по две недели.
Если страница 403 Forbidden надо ли ее запрещать в robots.txt?
Не надо.
403 Forbidden - это строгий запрет на уровне сервера, а robots.txt просто просьба для ботов
Если на него есть ссылки и туда ломятся белые боты (поисковые индексаторы и ИИ), то лучше добавить и в роботс.
Чего бы сразу все запреты не прописать, чтобы как бы чего не вышло?🤣
Удалить все эти страницы - нет возможности, сайт не сможет функционировать без них.
а такое технически возможно ? Чтобы бот получал 302, а пользователь в браузере 200 ? Лучше тогда уж 301 ставить, зачем 302 то ?
сайт вообще на скрипте написан, как бот вообще находит ссылки эти - я не понимаю, не прогер я
В этом случае единственный совет: нанять прогера и удалить все дубли страниц сайта.
Других практических решений нет, есть только теория которую вы не в состоянии понять.
Заявлялось, что ссылки и ПФ - зло! Ссылки покупают для обмана клиентов, они не работают, а на хорошие сайты ссылки появляются сами)))
Пора бы написать бота, который будет регистрировать домены, собирать семантику, генерировать сайты, двигать в топ и монетизироваться 😂
Нафига его писать? Простейший "Автомат" стоит, который уж лет 10 генерит сайты, двигает в топ и монетеризирует. Пару VPS под это, годами туда не заглядываю
Единственное на что вам надо обратить внимание, это есть ли рост трафика, а главное лиды со страниц, которые вам крутят.
В поддержке работает такие же чуда
И только он, может заблокировать автоматическую проверку. В любом другом случае, автомат все равно рано или поздно заблочит
По моему ничего нельзя поделать.
На серче даже есть тема с рекламой( не моей) на это место, а у вас все одно - ничего нельзя поделать
Ссылки покупать нельзя!!! Google
А ты надеялся, что он из чужого кода с гитхаба
Гитхаб мне никак не поможет, я же программист - давно все просмотрел, все старо как мир)
Ну и ты же знаешь, что в ТОП, продвигаю методами, которыми никто не продвигает.
Вот "НН" начал рекламить ТОП1 в том же направлении ( месяц назад примерно), но опять же накруткой))
Бот будет сканировать ссылки и получать контент только 302 перенаправленных (разрешенных) страниц и не получать контент технического мусора
PS Если настроишь last-modified и 304, совсем уменьшишь сканирование