- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
которыми закрыты внешние ссылки. для эксперимента закинул скрипт во внешний файлик, в папку со скриптом положил htaccess, в котором указал
RewriteCond %{HTTP_USER_AGENT} (Google|Googlebot|spider) [NC]RewriteRule ^(.*)$ - [F]
кроме этого запретил доступ к папке в robots.txt. проверил через браузер с гугловским юзерагентом - железная блокировка. пошел в ВМ, в "предпросмотр страниц", запульнул страницу с внешней ссылкой, обрабатываемой скриптом, а сам - в логи. появляется гуглобот, ломится к скрипту, а там ессно болт. еще пару раз ломится - болт. приходит другой бот, google preview, тоже ломится - болт. опять и опять. ну вроде угомонился, иду в ВМ, там есть список файлов, подключенных к странице. навожу на экспериментальный - всплывает картинка с грустным роботом и надписью "что-то сломалось. это все что нам известно". ну, думаю - победа :idea: а на следующий день в логах вижу, что гуглоботы опять упорно ломились к файлу, htaccess их естественно тормозил.., захожу в ВМ, навожу на экспериментальный файл, а там:
это ж оно начало "нервничать", что от него что-то скрывают, зашло под безобидным юзерагентом и прочитало запрещенный скрипт. как дальше жить?
Вы думаете поставил запретную директиву и всё, никто не читает, ну продолжайте думать так. Если что-то скинул в сеть, обязательно кто-то прочитает. Но в результатах поиска для всех это отображаться не будет.
Если находится в сети, то обязательно прочитают, ну только в результатах поиска не будет выдаваться для всех
Вы думаете поставил запретную директиву и всё, никто не читает
в каком месте моего поста вам это показалось? не читается с юзерагентами, начинающимися на Google, за вообще всех я не говорил. удивило то, что гуглу так сильно захотелось познать запретное, что он пригнал бота с левым юзерагентом за вожделенной ссылкой... какого хрена?
Это обычное поведение поисковиков.
Они время от времени заходят на сайты под левым UA.
Например чтобы попалить клоакинг.
ТС, вы серьёзно считаете, что вы самый умный? :)
Зря, всё уже ясно и понятно, а вы какой-то якобы эксперимент поставили.
zeu поисковики учитывают robots.txt только при выдаче, на проход робота по сайту robots.txt не влияет.
поисковики учитывают robots.txt только при выдаче
Неа.
как дальше жить?
В роботсе запрет оставьте, а в htaccess уберите.
зашло под безобидным юзерагентом и прочитало запрещенный скрипт
Ну им же надо бороться с вирусами и пр. дорами.
ТС, вы серьёзно считаете, что вы самый умный? :)
Зря, всё уже ясно и понятно, а вы какой-то якобы эксперимент поставили.
не надо завидовать, я перечитал много тем об этом и не увидел там однозначного "ясно и понятно", только "не переходит и не индексирует". а он судя по всему переходит.
ну в общем, все понятно, всем спасибо :)
богоносец это не противоречит тому,что я сказал
это не противоречит
Ну как же не противоречит?
С 10 декабря (примерно) robots.txt есть.
6 декабря ещё не было... и осенью не было, наверное несколько месяцев (самый ранний кэш был от 28 сен, сейчас его нет).
В индекс залезли результаты поиска и на момент этого поста ещё они в выдаче есть, хотя Disallow: /
Пока (на момент этого поста) ещё есть чуть более ранний пример, закрытый в robots.txt около 25 ноября. Сколько ещё?
Вообще, такие ситуации полезны для изучения. Один дубль удалить не долго, а вот десятки тысяч уже сложнее.
Закрытое в роботсе бывает в выдаче без кэша. Открытое — с кэшем.