Корректное закрытие сайта от индексации yahoo

123 4
S
На сайте с 28.10.2005
Offline
318
#11

А вот это - ХЗ, любят поисковики некрофилией пострадать :D

L
На сайте с 03.05.2006
Offline
171
#12

Я бы еще для надеги IP ботов забанил бы...

Цахес
На сайте с 15.03.2007
Offline
205
#13
semenov:
Второй вариант имхо правильней

Чем он правильней и почему?

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
[Удален]
#14

Насчет айпишников: какой диапазон банить нужно?

ssa66
На сайте с 14.10.2006
Offline
195
#15
Цахес:
Чем он правильней и почему?

Тоже интересно, т.к. в хелпе Yahoo везде указывается написание "User-agent: Slurp", а на официальном блоге Yahoo - "User-agent: Yahoo! Slurp".

knezevolk
На сайте с 18.08.2008
Offline
292
#16

ТС, а если не секрет - зачем закрывать от индексации яхо?

Контекст окупается - создание Директа и Гугл Рекламы (Adwords) ( https://searchengines.guru/ru/forum/964055 ) ||| Ютуб-канал "Директ для собственников бизнеса" ( https://www.youtube.com/channel/UCjzF4_iuZQc3Avbngb_xsjg/ )
kxk
На сайте с 30.01.2005
Offline
990
kxk
#17

knezevolk, Чтобы твои сетки не спалили лучше ещё и от мсн закрыться :)

Ваш DEVOPS
[Удален]
#18

kxk, верно, еще бот яху носит почтенное звание самого тупого, так как кладет сервера порой, набрасываясь на сайты своими мощностями бездумно. Впрочем, конечно, скрыть бэки куда важнее.

Как закрыться от MSN, кстати?

kxk
На сайте с 30.01.2005
Offline
990
kxk
#19

Mantius, Да баньте нафиг по подсетке, да мы зобанили Яху под подсети, снизили нагрузку в 4 раза :)

ХЗ
На сайте с 31.08.2008
Offline
155
#20
kxk:
knezevolk, Чтобы твои сетки не спалили лучше ещё и от мсн закрыться :)

не проще разрешить индексить нескольким пс а остальным закрыть доступ, если так страшно за сетку то разрешите только Яндексу а другим дайте:

User-agent: *

Disallow: /

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий