- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вам проще написать тут, чем на емайл.
Ваш робот с ua Yandex/1.01.001 (compatible; Win16; H) систематически не соблюдает robots.txt
(время не московское)
2003 13th December 07:11:13 2003
213.180.194.178 Yandex/1.01.001 (compatible; Win16; H)
2004 16th January 04:17:33 2004
213.180.194.138 Yandex/1.01.001 (compatible; Win16; H)
пробрался в мой скрипт по отлову качальщиков, который стоит в robots.txt как запрещенный. к другим роботам притензий нет.
Проверьте плз на баги, у меня гугл за всё время ниразу так плохо не поступал :/
И сразу встречний вопрос, у меня из - за этого был автоматически забанен робот Yandex/1.01.001 (compatible; Win16; H) - чем это чревато?
Странно, H - зеркальщик, по идее не должен ходить туда, где не было индексирующих роботов, смысла ему в этом ноль.
Зеркала автоматом не будут клеиться. Если с этим все нормально, то ничем.
mnt, тут уже много плевались по поводо невежливости робота Ya, которому абсолютно параллельно на robots.txt.
Боюсь, Ваш пост - "глас вопиющего в пустыне".
Я я, натюрлих. И еще я спрашивал, что за такие поползновения от бота яндекса на страницы с параметрами, которые им сам бот привинтил. И вопрос, на кой леший он выудил страницы, на которых ссылок нигде !!! не было (были только ссылки на картинки, лежащие в каталоге, но с других страниц и с АБСОЛЮТНЫМИ путями к картинкам!)
Теперь я в выдаче вижу еще и "корешки" этих каталогов (ну нет в них index.htm* за ненадобностью...!)