Снифер для первых запросов?

Devvver
На сайте с 02.07.2008
Offline
617
763

Есть скрипт(сайт) который посылает post и get запросы (гугл хром) разным сайтам(200-300 штук).

Как отследить сами запросы без загрузки страниц?

Пробовал консоль смотреть - запросы теряются в общем потоке. Пробовал одно расширение - та же история. Поставил Wireshark - вообще мрак.

Как записывать только первый запрос?

Мой блог. Все о создании сайтов,Seo и СДЛ (https://devvver.ru/) А вот это блог о жизни в Таиланде и Паттайе (http://tourwebring.com). Еще о Таиланде (https://tailand-gid.org).
Samail
На сайте с 10.05.2007
Offline
328
#1
Devvver:
Как отследить сами запросы без загрузки страниц?

Без загрузки каких страниц? Которые запросы посылают или которым посылают?

Devvver:
Пробовал консоль смотреть - запросы теряются в общем потоке.

На вкладке Network есть поле Filter

Devvver
На сайте с 02.07.2008
Offline
617
#2
Samail:
Без загрузки каких страниц?

Без загрузки той страницы. К примеру есть запросы типа

http://realsteel.kz/?query=site.ru

http://seoker.w1c.ru/ru/www/site.ru

http://www.pr-tic.com/i/site.ru/

Вот мне нужно отловить именно их, а не загрузку скриптов (юрлов) при загрузке этой страницы.

Samail:
На вкладке Network есть поле Filter

Оно не помогает так к сожалению идет куча запросов которые не понятно как отфильтровать. Единственное общее у всех запросов - это site.ru

Фильтр по этому полю - кучу шлака попадает даже с учетом фильтра.

Для понимания что мне нужно - мне нужно собрать базу url из http://rostehnot.ru/beklink.php

vandamme
На сайте с 30.11.2008
Offline
646
#3

яваскрипт что-ли отправляет пост?

и типа возвращает тебе весь хтмл ответа, а тот при печати в браузер подгружает все скрипты и картинки, стили?

так достаточно примочки https://stackoverflow.com/questions/1787322/htmlspecialchars-equivalent-in-javascript

Samail
На сайте с 10.05.2007
Offline
328
#4
Devvver:
Для понимания что мне нужно - мне нужно собрать базу url из http://rostehnot.ru/beklink.php

Так она в исходном коде есть:

var theurls=new Array
("http://www.whorush.com/search/?q={website}",
"http://webworth.info/test-viewlist/{website}.html",
"http://en.wikipedia.org/wiki/{website}",
"http://www.aboutus.org/{website}",
"http://obmen-vizitami.16mb.com/",
"http://webmastercoffee.com/en/site/{website}",
"http://jigsaw.w3.org/css-validator/validator?uri={website}",
"http://www.onlinewebcheck.com/?url={website}",
"http://builtwith.com/{website}",
"http://www.siteadvisor.com/sites/{website}",
"http://webcache.googleusercontent.com/search?q=cache:{website}",
"http://wayback.archive.org/web/*/http://{website}",
"http://search.lycos.com/web?q=site%3A{website}",
"http://savedhistory.com/d/{website}",
"http://push2check.com/{website}",
"http://www.majesticseo.com/reports/site-explorer/summary/{website}?IndexDataSource=F",
"http://www.iwebtool.com/pagerank_checker?domain={website}",
"http://judgespot.com/review/{website}",
"http://whois.domaintools.com/{website}",
"http://www.aboutus.org/{website}",
"http://www.cubestat.com/{website}",
"http://www.alexa.com/data/details/?url={website}","http://whoisx.co.uk/{website}",
"http://www.protect-x.com/info/{website}",
"http://online.htmlvalidator.com/php/onlinevallite.php?url={website}",
"http://uptime.netcraft.com/up/graph?site={website}",
"http://www.whoisbucket.com/view/{website}","http://page2rss.com/page?url={website}",
"http://www.robtex.com/dns/{website}.html",
"http://www.talkreviews.com/{website}",
"http://wholinkstome.com/url/{website}",
"http://www.aboutthedomain.com/{website}",
"http://websiteshadow.com/{website}","http://www.markosweb.com/www/{website}",
"http://www.dnscoop.com/{website}",
"http://www.xomreviews.com/{website}",
"http://www.statsaholic.com/{website}",
"http://www.buydomainportfolio.com/{website}",
"http://www.similarsites.com/sites-like/{website}",
"http://alexa.aspxz.cn/?domain={website}",
"http://domainsearch101.com/domainsearch/{website}",
"http://www.bm8.com.cn/alexa/Index.asp?url={website}",
"http://www.ip-adress.com/reverse_ip/{website}",
"http://www.surcentro.com/en/info/{website}",
"http://www.urladex.com/url/{website}",
"http://indexed.webmasterhome.cn/?domain={website}",
"http://www.linkwan.com/gb/broadmeter/VisitorInfo/QureyIP.asp?QureyIP={website}",
"http://www.refertus.info/{website}.phtml",
"http://stuffgate.com/{website}",
"http://indexed.linkhelper.cn/?weburl={website}",
"http://www.123cha.com/domain/?q={website}",
"http://www.djwxe.com/alexa/index.asp?url={website}",
"http://www.builtwith.com/?{website}",
"http://alexa.5i2.net/?url={website}","http://www.mvp520.com/alexa/?domain={website}",
"http://statswebsites.com/www.{website}",
"http://www.websitevaluecalculator.org/www.{website}",
"http://statout.com/www.{website}",
"http://webrapport.net/www.{website}",
"http://www.mywot.com/en/scorecard/{website}",
"http://dataopedia.com/{website}",
"http://www.websitevaluebot.com/www.{website}",
"http://tool.chinadmoz.org/alexa/?domain={website}",
"http://www.domaincrawler.com/{website}",
"http://buildstats.com/{website}",
"http://www.protrackr.com/{website}/",
"http://www.alexatop.net/alexa/{website}/",
"http://www.ownmine.com/results.php?query={website}",
"http://tool.hnce.com/tools/Alexa/index.asp?url={website}",
"http://www.v3whois.com/w/{website}",
"http://ip.webmasterhome.cn/?IpStr={website}",
"http://www.zgdmw.net/news/search.php?kw={website}",
"http://ss.net.cn/tool/alexa.asp?domain={website}",
"http://so.5eo.com/alexa/index.php?url={website}",
"http://alexa.chinaz.com/Index.asp?domain={website}",
"http://indexed.linkhelper.cn/querypr.asp?url={website}",
"http://pagerank.webmasterhome.cn/?domain={website}",
"http://site.egyfox.com/{website}",
"http://www.netbar.net/alexa/Index.asp?url={website}",
"http://alexa.chinabreed.com/?domain={website}",
"http://alexa.poptool.net/?d=http%3A%2F%2Fwww.{website}",
"http://tool.114la.com/siteall/{website}",
"http://alexa.chaxun.la/?q={website}",
"http://www.kingsnet.biz/tool/seo/AlexaDetail.asp?domain=www.{website}",
"http://tools.163box.com/search.php?keyword={website}&left=baidu&right=google","http://tools.ittang.com/alexa/?url=www.{website}",
"http://www.chaxp.com/alexa/html/{website}",
"http://www.mqdm.net/tool/search/alexa/?url={website}",
"http://www.onsoso.com/zhanzhang/Alexa/Index.asp?url={website}",
"http://pc.7lou.net/alexa/?url={website}",
"http://16368.com/link/alexa/index.asp?url={website}",
"http://zs.hicode.cn/alexa/index.php?Domain={website}",
"http://t.mb5u.com/alexa_{website}",
"http://alexa.bainei.com/index.asp?url={website}",
"http://cxgjdq.com/alexa/{website}",
"http://gzyjn.com.cn/alexa/index.asp?url={website}",
"http://www.zzsky.cn/tool/alexa/?q={website}",
"http://www.568g.cn/tool/alexa/Index.asp?url={website}",
"http://123.96911.com/alexa/Index.asp?url={website}",
"http://www.yousee123.com/search/alexa/index.asp?url={website}",
"http://www.ourquery.com/alexa/index.asp?url=www.belljewelstore.com",
"http://www.7x8y.com/alexa/Index.asp?url=www.{website}",
"http://www.websitetrafficspy.com/{website}",
"http://www.hhlla.com/alexa/?domain={website}",
"http://alexa.d-yn.com/?domain={website}",
"http://alexa.ydaba.com/index.php?domain={website}",
"http://tool.haiphp.com/alexa/url_{website}.html",
"http://www.tc-by.cn/alexa/index.asp?url=www.{website}",
"http://www.padapon.com.cn/alexa/?domain={website}",
"http://www.track-ip.com/whois/{website}",
"http://www.danyangly.com/search/alexa/index.asp?url={website}",
"http://whois.linkhelper.cn/whois.asp?domain={website}",
"http://whois.gwebtools.com.br/{website}",
"http://www.123people.com/s/{website}",
"http://www.99count.com/pr/?domain={website}&chkall=on&googlerank=1&google=1&baidu=1&msn=1&yahoo=1&yisou=1&alexa=1&sina=1&sohu=1&do163=1&qq=1&whois=1",
"http://tool.aspxhome.com/alexa/?url={website}",
"http://alexa.seek114.com/{website}.html","http://alexa.136z.com/?url={website}",
"http://www.bcnq.com/alexa/Index.asp?url={website}",
"http://www.kingwith.com/alexa/?domain={website}&Submit=%B2%E9%D1%AF&chkall=on&googlerank=1&google=1&baidu=1&msn=1&yahoo=1&links=1&sina=1&do163=1&sohu=1&qq=1&zhongsou=1&uptimebot=1&whois=1&alexa=1",
"http://80008.cn/link/Alexa/Index.asp?url={website}",
"http://alexa.epclean.com/alexa.asp?url={website}",
"http://trade.6jc.cn/tools/alexa/Index.asp?url={website}",
"http://ip.toolsky.com/?IPstr={website}",
"http://web.archive.org/web/*/http://{website}",
"http://www.51.la/report/0_seotool.asp?id=1484711&d={website}&cp=+%C8%B7%B6%A8+",
"http://www.china-holiday.com/webguide/pmcx/index.asp?url={website}",
"http://ksscn.com/alexa/index.asp?url={website}",
"http://www.wap588.com/alex/Index.asp?url={website}",
"http://www.seotg.com.cn/alexa/index.asp?url={website}",
"http://www.hi001.net/alexa/Index.asp?url={website}",
"http://tool.seo361.cn/alexa/Index.asp?url={website}",
"http://netbar.in/alexa/Index.asp?url={website}",
"http://www.it860.com/tools/alexa/index.asp?url={website}",
"http://www.mybbdy.com/tool/Index.asp?domain={website}",
"http://www.net-bar.com/alexa/Index.asp?url={website}",
"http://www.baigoohoo.com/tools/indexed/Index.asp?url={website}",
"http://www.100ceo.com/alexa/{website}/",
"http://www.wocha.com/alexa/{website}",
"http://www.vvlink.com/alexa/index.asp?domain={website}",
"http://tool.souzz.net/whois.asp?s=1&url=www.{website}",
"http://www.alexa5.org/a/?Domain={website}",
"http://www.myip.net/{website}",
"http://www.mialexa.com/calcular_alexa.php?url={website}&Submit=+Calcular+",
"http://www.jerichorose.com/tools/Alexa/index.asp?url={website}",
"http://www.seoxuetang.com/wncxw/alexa/Index.asp?url={website}",
"http://link.520750.com/alexa/Index.asp?url={website}",
"http://www.chinaymz.com/alexa/?url={website}",
"http://www.wbtrans.com/alexa/?url={website}",
"http://www.baoge.net/webmaster/alexa/index.asp?url={website}",
"http://www.bestiis.net/tool/alexa/?url={website}",
"http://www.lywzz.com/Alexa/index.asp?url=www.{website}",
"http://www.epun.cn/alexa/?url=www.{website}",
"http://webboar.com/www/{website}",
"http://hqindex.com/{website}",
"http://www.sitetrail.com/{website}",
"http://www.websitefigures.com/site/{website}",
"http://rbls.org/{website}",
"http://domping.com/{website}",
"http://www.siteluck.com/en/{website}",
"http://www.bname.ru/analysis/{website}/",
"http://domainsoutlook.com/g/site/{website}.html",
"http://www.getwebsitevalue.com/www.{website}",
"http://webmonitor.fyxm.net/www.{website}",
"http://www.79tools.com/{website}",
"http://whobis.com/{website}",
"http://www.okajax.com/alexa/Index.asp?url={website}",
"http://reverseinternet.com/domain/{website}",
"http://who.pho.to/{website}",
"http://www.293.net/{website}",
"http://www.zzsky.cn/tool/sameip/?q={website}",
"http://seo-monster.ru/?who={website}/",
"http://www.websiteaccountant.es/{website}",
"http://www.whois365.com/cn/domain/{website}",
"http://tool.hnzzz.net/index.asp?url={website}",
"http://www.fwol.biz/?url={website}",
"http://www.sitedossier.com/site/{website}",
"http://www.gztyn.net/alexa/index.asp?url={website}",
"http://www.qualidator.com/WQM/en/TestWebsite/http_{website}.aspx",
"http://midea.mo.cn/alexa/index.asp?url={website}",
"http://www.submityoursite.com/mypage/{website}",
"http://www.carelmeyer.com/website-information/site-stats.aspx?site={website}",
"http://webrota.com/{website}","http://seeallweb.org/domain/{website}",
"http://www.lycos.de/?query=site:{website}",
"http://webmastercoffee.com/site/{website}",
"http://ip.many3.com/es/tracer/{website}",
"http://www.sskee.com/tools/alexa/Index.asp?url={website}",
"http://www.stirlingchinese.com/alexa/index.asp?url={website}",
"http://www.onthesamehost.com/{website}/",
"http://ip.yion.com/s.shtml?w=www.{website}",
"http://www.112580.com/tools/alexa/index.asp?url={website}",
"http://tool.difangwang.com/alexa/Index.asp?url={website}",
"http://alexa.yxsj.net/?domain={website}",
"http://www.threetong.com/lun/Index.asp?domain={website}",
"http://tool.sxseo.cn/alexa/index.asp?domain={website}",
"http://www.ax8008.com/alexa/?domain={website}",
"http://www.gz007.net/alexa/index.asp?url={website}",
"http://www.yourqi.net.cn/Alexa/Index.asp?url={website}",
"http://tool.vaaoo.com/tools/webmaster-alexa/{website}",
"http://website.informer.com/{website}",
"http://webinformation.co/{website}",
"http://urlspy.co.uk/{website}",
"http://pezis.com/{website}",
"http://www.laopinpai.com/tool/?domain={website}",
"http://r-domain.net/{website}",
"http://www.domainwhoisinfo.com/{website}",
"http://www.chromewhois.com/domain/{website}",
"http://www.whoisentry.com/domain/{website}","");
Devvver
На сайте с 02.07.2008
Offline
617
#5
Samail:
Так она в исходном коде есть:

Спасибо за результат. Но это только пример. В других возможности экспорта нет.

Как отловить такие запросы в Хроме?

vandamme:
так достаточно примочки

простите но мне в примере ничего не понятно. Php и JS не владею, хотя синтаксис немного понимаю.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий