- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Если ввести адрес в браузер, то все ок. По этому же адресу робот получает последовательность практически бессмысленных абракадабр.
Например, по адресу http://www.altavista.com/web/results?itag=ody&kgs=0&kls=0&nbq=100&q=link%3Awww.ya.ru&stq=0
вот такая инфа:
Веб-услуги - интернет портал о интернет рекламе. Собраны масса статей на темы: поисковая ... Создан сервис позволяющий оценить качество продвижения сайта, ...
www.web-uslugi.ru • Translate
More pages from web-uslugi.ru
PeterLink
Web server that provides various commercial information including dating service with Russian people.
www.peterlink.ru • Translate
More pages from peterlink.ru
Информационные технологии для предпринимателей
Обеспечения информационной поддержки и обслуживания субъектов малого ... Поддерживая и развивая благоприятные условия для дальнейшего роста экономической ...
www.binec.ru • Translate
More pages from binec.ru
А робот получает по этому же адресу вот такую фигню:
More pages from peterlink.ru
tavista.com/web/results?sc=off&q=link%3Awww.ya.ru+domain%3Abinec.ru'>More pages from binec.ru
About Feedback Submit! English Russia just because something cool happens ...
englishrussia.com/?p=252
More pages from englishrussia.com
код там тоже концептуально отличается, понятное дело.
Вопросы:
1. это такая модная защита от роботов? :eek::no:
2. это можно как-то обойти?
яху не катит из-за ограничения в 5К запросов в сутки, а ротацию айпишников не хочется делать, да и много их понадобится.
1. Альтависта юзает яху.
яху не катит из-за ограничения в 5К запросов в сутки, а ротацию айпишников не хочется делать, да и много их понадобится.
2. 5к юзается в Yazzle и никто еще не пожаловался что мало. А Вы наивно полагаете что сделаете более 5к автозапросов к Altavista в день и Вас не забанят?
1. Альтависта юзает яху.
2. 5к юзается в Yazzle и никто еще не пожаловался что мало. А Вы наивно полагаете что сделаете более 5к автозапросов к Altavista в день и Вас не забанят?
1. это я заметил :) каждая ссылка ведет на блабла.яху.ком/блаблаблабла
2. ну Yazzle тоже пользуюсь, но тут посчитал. надо тысяч 100 в день. кстати, вряд ли бы забанили за автозапросы :)
пс. а если яндекс введет такую фигню 😮
mokuz:
Вы попробуйте найти в коде <span class=ngrn>www.сайт.ru_ </span>
Именно между этим span и заключается то, что Вам нужно.
mokuz:
Вы попробуйте найти в коде <span class=ngrn>www.сайт.ru_ </span>
Именно между этим span и заключается то, что Вам нужно.
отличная идея! если я говорю про парсеры, значит, я наверное, знаю как парсить.
робот получает код, отличный от того, что виден в браузере.
он получает вот такой вот примерно поток бреда:
найдите здесь <span class=ngrn>
Во вложенни то, что получил мой парсер по Вашему запросу.
А кода-то всего
fly21, мдя. у Вас тоже код изменяется, но по крайней мере, урлы целы. а у меня используется не php, а asp. и тут он выдает
parser.txt :(
fly21, мдя. у Вас тоже код изменяется, но по крайней мере, урлы целы. а у меня используется не php, а asp. и тут он выдает
parser.txt :(
Судя по вашему результату, похоже что в строке нужно искать
и выдирать оттуда значение href