Паук исполняющий java script

fima32
На сайте с 12.01.2006
Offline
132
1361

Подскажите, пожалуйста, есть ли такая программа, которой задаешь урл, а она пробегает по всем страницам сайта и исполняет все коды java script.

Желательно, чтобы еще количество страниц считала.

!kt0
На сайте с 28.06.2006
Offline
46
#1

Поищите программистов на Java. Думаю, что они смогут что-нибудь внятное ответить.

В php была штука под названием snoopy, которая имитировала браузер. Но вот на счет исполнения java-script я сомневаюсь

В принципе java-script обрабатывается на стороне пользователя, то есть у вас, поэтому такой программой является обычный браузер. Например если взять visualbasic или delphi, то там есть ocx (специальный компонент) интернет эксплорера. Можно побаловаться с ним

http://seorepa.com/ (http://seorepa.com/) - блог был там, пока не запилили mchost
fima32
На сайте с 12.01.2006
Offline
132
#2

спасибо за совет, но, к сожалению, я не программист

[Удален]
#3
fima32:
которой задаешь урл, а она пробегает по всем страницам сайта и исполняет все коды java script

Уточните цели.

Какой результат в итоге вам нужен и в каком виде?

Лучше подробно опишите что вы хотите от тех самых url по которым должна пробежаться программа.

Ведь можно:

Ф) просто "в тихую" исполнить все JS и всё (не выдавать никаких результатов);

И) посчитать количество ошибок в исполненных скриптах и выдать результаты в виде таблицы (структуры);

С) соханить все результаты исполнения для того, что бы они могли быть обработаны чем-то другим.

Наконец, поясните внятно, где будет исполняться программа:

1) На сервере (OS *nix и т.п.);

2) На вашем компьютере (OS Win и т.п или OS Mac).

fima32
На сайте с 12.01.2006
Offline
132
#4

Есть сайт с контекстной рекламой от Бегуна. Проходя первый раз по страницам сайта я вижу нерелевантную рекламу. Обновляю второй, третий раз и тут начинают появляться релевантные объявления. Так как их паук сразу индексирует не все станицы, особенно когда их много, то его приходится пинать исполнением их Java-script кода.

Хотелось бы чтобы это была прога, так как на локальном компе канал 2 Мбит - инет анлим. Но если это будет пхп-скрипт тоже хорошо.

З.Ы. Все изложенное выше - мое сугубо личное мнение и ... просьба сильно не пинать

!kt0
На сайте с 28.06.2006
Offline
46
#5
fima32:
Хотелось бы чтобы это была прога, так как на локальном компе канал 2 Мбит - инет анлим. Но если это будет пхп-скрипт тоже хорошо.

Не принципиально. Если скрипт, то просто поставите Денвер (урезанный сервак с полностью автоматической установкой и минимальными настройками)

S1
На сайте с 23.12.2006
Offline
0
#6

Подавляющее большинство способов защиты адреса e-mail от спамеров построены на том, что адрес почты прячется с помощью JavaScript. То есть в теле документа нет символа '@', спам-робот его не видит, а браузер запускает в нужном месте скрипт, который уже пишет адрес.

И вся борьба со спам-роботами держится на том факте, что таких пауков нет.

А если кто-то вдруг создаст такого Паука, исполняющего java script - это будет новое слово в спам-технологиях, новый виток борьбы с ними, и необходимость переделать миллионы сайтов.

Так что надо надеяться, что этого никогда не произойдет.

fima32
На сайте с 12.01.2006
Offline
132
#7

Мне один товарищь говорил, что надо в направлении спамных технологий копать. Он говорил, что есть прога в которой указываешь урл сайта, а она лазит по сайту при помощи простого браузера. Парсит страницы, выцепляет e-mail(что мне не нужно) и, самое главное, запоминает по каким страницам она пробежала(чтобы не бегать по одним и тем же страницам и с сайта не убегать).

Но я думал, может какой-нить офф-лайн браузер к этому приспособить, только не знаю исполняет ли он java-script.

Может кто-нить подскажет, хотя я уже все важные страницы пробежал ручками, просто уже спортивный интерес какой-то

B
На сайте с 06.04.2006
Offline
24
#8
fima32:
Может кто-нить подскажет, хотя я уже все важные страницы пробежал ручками, просто уже спортивный интерес какой-то

Вы поакуратнее со спортивным интересом :) Я как-то начал с простого соединения к pop3, а закончилось почтовым клиентом из-за простого вопроса "а сможешь получить мне почту?".

Короче, времени на это можно убить много.

В спам-технологии правильно копаете. Где-то видел обсуждения, как распознать цифры на картинке. Может, и скрипты уже выполняют.

Под linux есть текстовый браузер links, он умеет выполнять javascript - http://links.twibright.com/features.php

Javascript support with full user control over script run

Если покопать исходники, то может, и выцепите модуль для этого.

Мониторинг сайтов (http://hostpulse.ru/), серверов, проверка содержимого страниц.
stealthy
На сайте с 15.06.2006
Offline
69
#9
Serega1:
А если кто-то вдруг создаст такого Паука, исполняющего java script - это будет новое слово в спам-технологиях, новый виток борьбы с ними, и необходимость переделать миллионы сайтов.
Так что надо надеяться, что этого никогда не произойдет.

Написать интерпретатор javascript в урезанном объеме достаточном для парсинга email в 99% случаев - задача на 3-4 часа.

Слава богу, что пока до этого спамеры не дошли. Хотя в любом случае есть минимум 30 альтернативных яваскрипту способов спрятать email.

Twilight CMS (http://www.twl.ru): есть Free версия, очень проста и удобна в использовании. Консультирую по любым вопросам. Новый спорт - практическая стрельба (http://nikit.in) - не для офисного планктона.
fima32
На сайте с 12.01.2006
Offline
132
#10

Да не нужны мне эти ящики нафик ... 🤣

Мне всего лишь надо браузером пройти по своему сайту, только на автомате

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий