Если надо закрыть от индексации некую папку, адрес которой не хочется явно палить в robots.txt, то можно использовать маску урла.
Например админка сайта живет по адресу
В robots.txt
пишем
Профит.
Есть мнение что "человеческая карта сайта" с ссылкой из футера на каждой странице - один из факторов наложения АГС.
Нормальная карта сайта - именно .xml
C вебмастера гугля по одному из сайтов:
Загружено URL отправлены URL в интернет-индексе 15.12.2011 17 135 16 635
в сапе денег нет
Мне кажется товарищ думает, что спонсорская зона будет спонсировать население бесплатными доменами 🤪
Википедия, Хабрахабр.
Если читать весь топик, то можно обратить внимание на пост №11, автор которого жалуется на именно картиночного бота.
Область поиска: сайт — рф
Картинок по вашему запросу не найдено
p.s. Хотя может я поиском по картинкам пользоваться не умею...
Этот код системы Гуглевской системы dfp
У вас был когда нибудь кот?
У меня был и не один. Опыт показывает, что беседы с котом на предмет вразумления не срать на ковер - бесперспективны.
🍿
Поиски и экзекуция кота, а также мероприятия по клинингу помещения могут отвлечь от рассуждений
о месте и роли русской\белорусской интеллигенции в судьбе нашего\ихнего Отечества.
