- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Хочу я получить некоторую информацию из Яндексовского поиска. С локального сервера, где лежит копия Я.страницы все на ура. А при обращении к реальному Я. посылает к href="http://www.yandex.ru/norobot/d42e082f-3e775b53-58a3.html
Что с этим делать?
только не вздумай ходить на этот URL ;-)) дальше проверяй синтаксис ;-))
Автомат работает? Вообще, раньше все ссылки на директорию /norobot/ вели к бану ip на некое время (несколько часов?) - поскольку человеку эти ссылки не видны.
2 euhenio:
Обычный запрос в том же окне работает без проблем
2 Professor:
>дальше проверяй синтаксис ;-))
Синтаксис чего? В апорте или рамблере тот же робот работает отлично, но я Яндекса хочуууу.....
Не вполне понятно, что вы делаете. Вы какому-то роботу подсовываете сохраненную страницу поиска Яндекса для вытягивания всего остального по ссылкам? Тогда перечитайте внимательно лицензию Яндекса.
Суть в том, что у яндекса есть файл robots.txt, и все роботы, в том числе и ваш, обязаны не лазить в указанные там разделы.
Нарушать, или нет - решать вам.
Э-э, уважаемый! Вы чего? Может мне тоже написать свою лицензию? А потом подавать в суд на Яндекс, за то, что некоторые их роботы игнорируют robots.txt?
робот перловый? PHP? на чем писан? ... иногда для отлова ошибок помогает натравление своего робота на свой же скрипт, кидающий мылом все $ENV переменные ... может там заметишь, что не так ...
P.S. скорее всего ты не кодируешь русский текст в %E7%E0%EF%F0%EE%F1