Друзья, вы не поняли задачу - нужно выключить вывод сообщения об ошибке, а не искать причину, потому что мы ее не найдем. Браузеру приходится ходить по разным сайтам (тысячи разных), поэтому с JS нет смысла разбираться. И дело не в плагинах, их минимально. Вероятно, причина в том, что не все серверы TOR, через которые ходит браузер, передают все параметры, заголовки и т.д., вот браузер и квакает.
---------- Добавлено 29.05.2015 в 10:52 ----------
LEOnidUKG: Вполне возможно, что прокси что-то не может загрузить через какой-то узел.
Даже если найдутся и другие сервисы и программы, эта подходит для решения моего вопроса буквально "на ура".
Еще раз спасибо.
---------- Добавлено 10.06.2014 в 19:25 ----------
А вот saitreport.ru разочаровал. Он не только не соответствует поставленной задаче, но и вообще вызывает уныние. Странно то, что они за такой анализ еще и деньги берут...
---------- Добавлено 10.06.2014 в 19:35 ----------
Еще один сервис http://text.ru/url-check показал хороший результат - тоже, как и Netpeak Spider, произвел верное сканирование с учетом robots.txt
Спасибо всем, кто откликнулся, я прошерстил все ваши советы. Кое что интересное нашлось, но проблему перечисленные сервисы и программы не решают.
1. Гугл-вебмастер на данный сайт говорит, что дублей нет, да и вообще - Гугл и Яша несколько по-разному понимают проблему и даже синтаксис robots.txt
2. Xenu и SitmapGenerator считывают все подряд страницы без оглядки на robots.txt. Может, я чего-то не понимаю или не вижу, но я получил именно такой результат.
Где-то в комментариях у Деваки мелькнул вот этот сервис - saitreport.ru, сейчас пробую его.
keynbr: А Гугловский Адсенс для поиска поставить в дополнение к задуманному, не вариант? Именно как дополнение (а то автор опять накинется, мол не разобрался:) ). И написать: Воспользуйтесь поиском! Он ведь тоже платит, как и реклама
Да я не накидываюсь. Мир, дружба, семечки. :)
Готов использовать хоть что - хоть инструменты Гугля, хоть собаку серую, хоть гвозди жареные. Но сам алгоритм найти не могу - как сделать поэтапно то, то и то. Я ведь за этим и пришел - если кто-то знает, как по пунктам это сделать, чтобы подсказали.
Понимаю, что похоже на типа "сделайте все за меня", но на самом деле это не так - на поверхности ничего не лежит, и я не лодырь.
PS: Сейчас снова перечитал Ваше сообщение и врубился, что Вы предлагаете. Интересная мысль, кстати, только она не отменяет первоначальную задачу - все-равно страницы эти надо будет делать согласно задумке. Но Вашу идею принял к сведению, спасибо.
roman_lenko: Тогда найти знакомого студента/старшекласника и предложить ему за 20$ «тупую техническую работу» по отбору запросов — дешево и сердито.
Да тоже не вариант. Я помню, как кто-то из топ-блоггеров что-то подобное показывал, как сделать с помощью ЯВС, какого-то SEO-плагина и Excel, но кто и как - не помню.
roman_lenko: Сайт и правда не обманка, в общем-то. По крайней мере, для обычного пользователя. Разве, что, если возле каждого товара на сайте будет указано «нет в наличий», то, мне кажется, рано или поздно с этим могут быть какие-то проблемы (элементарный бан со стороны Adsense — но, не обещаю). Я бы на вашем месте позволял бы пользователю оставить заявку на товар, а сами заявки потом бы препродавал реальным поставщикам оборудования(например, показываешь поставщику заявку без указания контактных данных, а контакты даёшь только после оплаты) + если человек еще по баннеру перейдёт — то вообще двойной профит получается.
Я вроде домены не называл. :)
Но а по выставлению реального оборудования, сбору заказов и передаче заявок - на самом деле так все и организовано, просто я считал, что к сути вопроса это не относится, и упростил объяснение.
roman_lenko: Я не уверен, или в Яндексе можно отбирать по тематикам. В Google Adwords есть специальный инструмент в аккаунте — там можно отбирать по тематикам (Меню: «Инструменты и анализ» -> «Планировщик ключевых слов»). Как по мне, разницы Яндекс/Google особой нету (просто укажите регион «Россия»)
С первой частью вопроса как раз все более-менее ясно, и ЯВС позволяет сделать все намеченное. Ну и да, Гугловый инструмент тоже дает подобный функционал. Сложности со вторым пунктом - как из списка выделить нужное. Вручную - очень трудоемко.
PS: Чуть не забыл сказать "спасибо" - Вы вникли в суть вопроса и попытались помочь. :)
keynbr: Если хорошенько поискать, то на этом форуме можно найти много подобных вопросов. Например: /ru/forum/820912 И можно сделать вывод, что если вы хотите использовать ваш сайт как прокладку-обманку, вас рано или поздно забанят эти самые сервисы контекстной рекламы.
1. Сайты - не обманки, на них действительно продается оборудование.
2. В указанной Вами теме нет ничего похожего - ни вопроса, ни ответа.
3. Вы даже не поняли, о чем речь, при этом пытаетесь что-то говорить. Я, конечно, понимаю - на форуме сообщениями Вы зарабатываете репу, но мне это не надо - если не знаете ответа на заданный вопрос - просто идите мимо.
Хм... Что-то я не думал, что это не сообщение FF, а что-то другое.
Тогда еще более непонятно, как бороться. Возникает явление хаотично, причем на тех страницах, на которых в предыдущие заходы все было нормально.
Друзья, вы не поняли задачу - нужно выключить вывод сообщения об ошибке, а не искать причину, потому что мы ее не найдем. Браузеру приходится ходить по разным сайтам (тысячи разных), поэтому с JS нет смысла разбираться. И дело не в плагинах, их минимально. Вероятно, причина в том, что не все серверы TOR, через которые ходит браузер, передают все параметры, заголовки и т.д., вот браузер и квакает.
---------- Добавлено 29.05.2015 в 10:52 ----------
Вполне возможно, что прокси что-то не может загрузить через какой-то узел.
http://netpeak.ua/soft/netpeak-spider/ в настройках - сканирование - настройки robots.
Это именно то, что нужно! Огромное спасибо! 🤪
Даже если найдутся и другие сервисы и программы, эта подходит для решения моего вопроса буквально "на ура".
Еще раз спасибо.
---------- Добавлено 10.06.2014 в 19:25 ----------
А вот saitreport.ru разочаровал. Он не только не соответствует поставленной задаче, но и вообще вызывает уныние. Странно то, что они за такой анализ еще и деньги берут...
---------- Добавлено 10.06.2014 в 19:35 ----------
Еще один сервис http://text.ru/url-check показал хороший результат - тоже, как и Netpeak Spider, произвел верное сканирование с учетом robots.txt
Спасибо всем, кто откликнулся, я прошерстил все ваши советы. Кое что интересное нашлось, но проблему перечисленные сервисы и программы не решают.
1. Гугл-вебмастер на данный сайт говорит, что дублей нет, да и вообще - Гугл и Яша несколько по-разному понимают проблему и даже синтаксис robots.txt
2. Xenu и SitmapGenerator считывают все подряд страницы без оглядки на robots.txt. Может, я чего-то не понимаю или не вижу, но я получил именно такой результат.
Где-то в комментариях у Деваки мелькнул вот этот сервис - saitreport.ru, сейчас пробую его.
А Гугловский Адсенс для поиска поставить в дополнение к задуманному, не вариант? Именно как дополнение (а то автор опять накинется, мол не разобрался:) ). И написать: Воспользуйтесь поиском! Он ведь тоже платит, как и реклама
Да я не накидываюсь. Мир, дружба, семечки. :)
Готов использовать хоть что - хоть инструменты Гугля, хоть собаку серую, хоть гвозди жареные. Но сам алгоритм найти не могу - как сделать поэтапно то, то и то. Я ведь за этим и пришел - если кто-то знает, как по пунктам это сделать, чтобы подсказали.
Понимаю, что похоже на типа "сделайте все за меня", но на самом деле это не так - на поверхности ничего не лежит, и я не лодырь.
PS: Сейчас снова перечитал Ваше сообщение и врубился, что Вы предлагаете. Интересная мысль, кстати, только она не отменяет первоначальную задачу - все-равно страницы эти надо будет делать согласно задумке. Но Вашу идею принял к сведению, спасибо.
Тогда найти знакомого студента/старшекласника и предложить ему за 20$ «тупую техническую работу» по отбору запросов — дешево и сердито.
Да тоже не вариант. Я помню, как кто-то из топ-блоггеров что-то подобное показывал, как сделать с помощью ЯВС, какого-то SEO-плагина и Excel, но кто и как - не помню.
Может копнуть в сторону инструментов для сеошников? — Типа, анализ конкурентов (конкурирующих страниц) по запросам и.т.п.
Нет, не пойдет - не даст нужного охвата.
Сайт и правда не обманка, в общем-то. По крайней мере, для обычного пользователя. Разве, что, если возле каждого товара на сайте будет указано «нет в наличий», то, мне кажется, рано или поздно с этим могут быть какие-то проблемы (элементарный бан со стороны Adsense — но, не обещаю). Я бы на вашем месте позволял бы пользователю оставить заявку на товар, а сами заявки потом бы препродавал реальным поставщикам оборудования(например, показываешь поставщику заявку без указания контактных данных, а контакты даёшь только после оплаты) + если человек еще по баннеру перейдёт — то вообще двойной профит получается.
Я вроде домены не называл. :)
Но а по выставлению реального оборудования, сбору заказов и передаче заявок - на самом деле так все и организовано, просто я считал, что к сути вопроса это не относится, и упростил объяснение.
Я не уверен, или в Яндексе можно отбирать по тематикам. В Google Adwords есть специальный инструмент в аккаунте — там можно отбирать по тематикам (Меню: «Инструменты и анализ» -> «Планировщик ключевых слов»). Как по мне, разницы Яндекс/Google особой нету (просто укажите регион «Россия»)
С первой частью вопроса как раз все более-менее ясно, и ЯВС позволяет сделать все намеченное. Ну и да, Гугловый инструмент тоже дает подобный функционал. Сложности со вторым пунктом - как из списка выделить нужное. Вручную - очень трудоемко.
PS: Чуть не забыл сказать "спасибо" - Вы вникли в суть вопроса и попытались помочь. :)
Если хорошенько поискать, то на этом форуме можно найти много подобных вопросов. Например: /ru/forum/820912
И можно сделать вывод, что если вы хотите использовать ваш сайт как прокладку-обманку, вас рано или поздно забанят эти самые сервисы контекстной рекламы.
1. Сайты - не обманки, на них действительно продается оборудование.
2. В указанной Вами теме нет ничего похожего - ни вопроса, ни ответа.
3. Вы даже не поняли, о чем речь, при этом пытаетесь что-то говорить. Я, конечно, понимаю - на форуме сообщениями Вы зарабатываете репу, но мне это не надо - если не знаете ответа на заданный вопрос - просто идите мимо.
Спасибо. Пока я пас, время не позволит.