Хм... Что-то я не думал, что это не сообщение FF, а что-то другое.
Тогда еще более непонятно, как бороться. Возникает явление хаотично, причем на тех страницах, на которых в предыдущие заходы все было нормально.
Друзья, вы не поняли задачу - нужно выключить вывод сообщения об ошибке, а не искать причину, потому что мы ее не найдем. Браузеру приходится ходить по разным сайтам (тысячи разных), поэтому с JS нет смысла разбираться. И дело не в плагинах, их минимально. Вероятно, причина в том, что не все серверы TOR, через которые ходит браузер, передают все параметры, заголовки и т.д., вот браузер и квакает.---------- Добавлено 29.05.2015 в 10:52 ----------
Это именно то, что нужно! Огромное спасибо! 🤪
Даже если найдутся и другие сервисы и программы, эта подходит для решения моего вопроса буквально "на ура".
Еще раз спасибо.---------- Добавлено 10.06.2014 в 19:25 ----------А вот saitreport.ru разочаровал. Он не только не соответствует поставленной задаче, но и вообще вызывает уныние. Странно то, что они за такой анализ еще и деньги берут...---------- Добавлено 10.06.2014 в 19:35 ----------Еще один сервис http://text.ru/url-check показал хороший результат - тоже, как и Netpeak Spider, произвел верное сканирование с учетом robots.txt
Спасибо всем, кто откликнулся, я прошерстил все ваши советы. Кое что интересное нашлось, но проблему перечисленные сервисы и программы не решают.
1. Гугл-вебмастер на данный сайт говорит, что дублей нет, да и вообще - Гугл и Яша несколько по-разному понимают проблему и даже синтаксис robots.txt
2. Xenu и SitmapGenerator считывают все подряд страницы без оглядки на robots.txt. Может, я чего-то не понимаю или не вижу, но я получил именно такой результат.
Где-то в комментариях у Деваки мелькнул вот этот сервис - saitreport.ru, сейчас пробую его.
Да я не накидываюсь. Мир, дружба, семечки. :)
Готов использовать хоть что - хоть инструменты Гугля, хоть собаку серую, хоть гвозди жареные. Но сам алгоритм найти не могу - как сделать поэтапно то, то и то. Я ведь за этим и пришел - если кто-то знает, как по пунктам это сделать, чтобы подсказали.
Понимаю, что похоже на типа "сделайте все за меня", но на самом деле это не так - на поверхности ничего не лежит, и я не лодырь.
PS: Сейчас снова перечитал Ваше сообщение и врубился, что Вы предлагаете. Интересная мысль, кстати, только она не отменяет первоначальную задачу - все-равно страницы эти надо будет делать согласно задумке. Но Вашу идею принял к сведению, спасибо.
Да тоже не вариант. Я помню, как кто-то из топ-блоггеров что-то подобное показывал, как сделать с помощью ЯВС, какого-то SEO-плагина и Excel, но кто и как - не помню.
Нет, не пойдет - не даст нужного охвата.
Я вроде домены не называл. :)
Но а по выставлению реального оборудования, сбору заказов и передаче заявок - на самом деле так все и организовано, просто я считал, что к сути вопроса это не относится, и упростил объяснение.
С первой частью вопроса как раз все более-менее ясно, и ЯВС позволяет сделать все намеченное. Ну и да, Гугловый инструмент тоже дает подобный функционал. Сложности со вторым пунктом - как из списка выделить нужное. Вручную - очень трудоемко.
PS: Чуть не забыл сказать "спасибо" - Вы вникли в суть вопроса и попытались помочь. :)
1. Сайты - не обманки, на них действительно продается оборудование.
2. В указанной Вами теме нет ничего похожего - ни вопроса, ни ответа.
3. Вы даже не поняли, о чем речь, при этом пытаетесь что-то говорить. Я, конечно, понимаю - на форуме сообщениями Вы зарабатываете репу, но мне это не надо - если не знаете ответа на заданный вопрос - просто идите мимо.
Спасибо. Пока я пас, время не позволит.