- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сомневались малость, но теперь успешно сделали + роботы уже прошлись норм все!
Ждем через пару-тройку месяцев отчет. Главное чтоб боты не заглянули со специфичных адресов и юзерагентами. ;)
Ждем через пару-тройку месяцев отчет. Главное чтоб боты не заглянули со специфичных адресов и юзерагентами. ;)
ДА нет все норм думаю будет... Вычислили спектр IP по которым заходят.. ну посмотрим. через месяцок что будет
sp1f0x, ну и как, много адресов в спектре?
ДА нет все норм думаю будет...
ну-ну.. :) Думать оно конечно не помешает.. Особенно о том, что роботы меняют ИП
Ждем через пару-тройку месяцев отчет.
Скорее всего появится - "чего это мой супер СДЛ ПСы забанили?"
Главное чтоб боты не заглянули со специфичных адресов и юзерагентами.
рано или поздно это случится.. :)
много адресов в спектре?
тоже интересно.
Помнится, года 2 назад видел списочек сотни на полторы одного гугла :)
ТС, задача защиты "секретных" каталогов решается ОЧЕНЬ просто - через хтацесс разрешается доступ только с твоих ИП (как вариант).
rule для htaccess, который будет редиректить на php-скпипт и gethostbyaddr() в скрипте, думаю, поможет ТСу.
Сделали в общем двумя вариантами, через IP и через htaccess посмотрим к чему приведет (экспериментировать ведь тоже надо :))
sp1f0x, стук и бан - за клоакинг :)
Если надо закрыть от индексации некую папку, адрес которой не хочется явно палить в robots.txt, то можно использовать маску урла.
Например админка сайта живет по адресу
В robots.txt
пишем
Disallow: /admin
Профит.
Если надо закрыть от индексации некую папку, адрес которой не хочется явно палить в robots.txt, то можно использовать маску урла.
Например админка сайта живет по адресу
В robots.txt
пишем
Профит.
Суть изначально в том, что нужно вообще закрыть роботс, чтобы он не виден был никому вообще (кроме ПСов)
Суть изначально в том, что нужно вообще закрыть роботс, чтобы он не виден был никому вообще (кроме ПСов)
и все желающие смогут его посмотреть http://webmaster.yandex.ru/robots.xml :)