Page Weight. Программа для настройки перелинковки сайта . Часть 2

Прогонял сайт чере pw online. Итог сначала программа обнаружил какой то сквозняк на каждой странице, которого нет на самом деле. После обращения в тех поддержку, сканер перезапущен. И теперь обнаружились петли на каждой странице, которых так же нет. Техподдержка отписала что это сайт виноват и "Скорее всего появление петель из-за неверно сгенерированной сквозной ссылки на какой-то товар", но никакой генерации сквозной ссылки на сайте нет. Так что ощущение что именно pw глючит....

Давайте разберемся с ощущениями. Сейчас прогнали ваш сайт еще один раз через сканер (результаты в личном кабинете), и петли исчезли. При этом никаких настороек или изменений в сканер не вносилось. Это еще раз говорит о том, что на вашем сайте поисходит динамическая генерация контента.

Сканер может и "глючить", т.к. от сбоев никто не застрахован, а наш сервис новый и сейчас производится его "обкатка". Но в вашем случае сбоев не было.

Посмотрите, кстати динамику проиндексированных страниц яндексом и гуглом, гугл нашел в 3,5 раза больше страниц (это число примерно соотвествует найденному нашим сканером). Вопрос почему? Так же с каждым разом количество страниц в поиске уменьшается, что говорит либо о сокращении страниц на сайте, либо о введении фильтров.

Еще раз повторю свою рекомендацию: внимательно просмотрите код и движок вашего сайта.

Вот именно никаких изменений не вносилось, а петли исчезли. По факту было бы интересно узнать откуда сканер взял эти петли. Грубо говоря если бы был бы бэкап страницы которую видел сканер можно было сделать вывод кто дает сбой сканер или сайт. А так непонятно. Вы считает сайт, я считаю сканнер.

Разница в индексе связана с тем что гугл на ура кушает страницы фактически с одним и тем же товаром, отличающихся например только цветом, а яндекс считает что это дубли. Для сведения количество страниц найденых гуглом 2900 вашим сканером 1700. Понятно что гугл напихал себе в индекс служебных страниц. Даже закрытых robots и не охотно растается с ними...

Действительно при сканировании петли исчезли, но на двух тестах одного сайта с разницей в час ваш сканер выдал разное количество страниц. Хотя они постоянны и присутствуют. Какие именно страницы выпали: я нашел 2 страницы это ссылки на каптчи. Они динамические и тут разница понятна, но так же выпали и постоянные страницы которые присутствуют абсолютно точно.

Движок сайта битрикс, так что серьезных оснований не доверять ему нет. Прогнал 2 раза аналогичный сайт точно с таким же кодом и движком, но просто с меньшим количеством страниц 160. Разниц в коль-во страниц нет. Есть только в количестве уникальных анкоров. К сожалению не нашел варианта экспорта анкоров что бы узнать какие анкоры выпали.

В итоге по факту имеем ситуацию когда 2 разных сайта прогнали минимум по 2 раза. Все результаты разные... Очень хочется выяснить причину. Кто же виноват сервис или сайты...

Попробуйте прогнать сайт на каком либо другом движке. Думаю вопросы отпадут. В 99% случаев, "странности", которые выдает парсер есть результат кривого кода сайта.

И собственно "странности" - это не повод кричать, что сервис или софт кривой, а сигнал вэб-мастеру, что с сайтом что-то не так.

Сравнили во втором случае анкоры. Разница - 3 шт., и это битриксовская капча.

один из наиболее глючных движков, особенно если нет профессионала прогера :)

---------- Добавлено 08.04.2012 в 17:36 ----------

askkt, поймите простую вещь, софт даже если он очень глючный не может сам сформировать новый url :)

Ога, с битриксом +50 к ранжированию.

Битрикс один из самых геморройных движков для SEO. Постоянно сессии, сортировки, динамическая генерация урлов и проч.

Сорри за офтоп, вырвалось.

Я не защищаю битрикс я просто изложил факт. Найдите хоть одни движок который не имеет глюков. Максиму что придет на ум это простая хтмл верстка на 10 страниц. Все остальное по определению будет глючить в той или иной степени.

Софт (будем говорить про pw, хотя битрикс тоже софт) и не формировал новых url. PW просто в одном случае не считал все имеющиеся урлы, т.е. не считал все данные.

А в другом случае изоброзил отсутствующую по факту петлю и сквозную ссылку. Ну нет их на сайте. Просто нет. Если бы софт изобрел несуществующую страницу тогда вопросов не было бы. Сгенерировать новую страницу может только битрикс. И в этом случае был бы его глюк. Но новых страниц нет, а все что есть - "залипшие" данные сканера, которые не подтверждаются ни визуально, ни кодом сайта, ни анкором, ни данными вебмастера и даже самим сканером при повторном запуске. Код страниц в поиске ошибки был просмотрен под всеми браузерами, режимами и т.п.

Рекомендация "обратите внимание на код" - звучит интересно, но в коде нет тех данных о которых говорит сканер. Не имея данных, что видел сканнер, нельзя сказать откуда проблема.

1. это как раз и есть глюк движка (вы уверенны в том что сервер отдал полную страницу, очень часто это может быть проблема с кешем - нет кеша конкретной страницы и движок начинает подвисать и глючить )

2. это чистый глюк движка (или настройки сервера посчитали это ддосом :))

попробуйте xenu в 100 потоков как сервер отреагирует :)

Код, это не только страница.

Вам еще раз говорю - не умеет ни Lite, ни On-Line придумывать урлы и ссылки. Если их нашли, то они там были. Откуда они берутся - Вам лучше знать, т.к. это Ваш сайт.

Если каждый раз при сканировании у Вас разная структура сайта, то это ж🙅па. И работа оптимизатора найти дырку в этой самой, и заткнуть её. Или нанять специалиста.

У любой ПС, помимо парсера, еще имеются обработчики текста страниц и хренова туча фильтров, которые позволяют не парсить "вечные календари", петли и прочую хрень.

У нас же на данный момент, голая ссылочная структура. Которую и показывает парсер. И если парсер показывает что-то не то, то это что-то не то с вероятностью 99% сидит в сайте, а не парсере.

Приветствую За полгода (примерно) использования программа несколько раз выручала, немного помогла вывести в топ тот большой сайт, ради которого покупалась, хоть до сих пор не может его осилить.. Программа по-прежнему загибается на больших сайтах Насколько я понял, пока не введена функция остановки парсинга в нужный момент, чтобы сохранить хотя бы то, что она успела собрать до падения. PageWeight Online прекрасно справляется с этой задачей, но функционал там урезан по старнению со стац. версией 8.7 У меня простая задача - создать карту сайта Ссылок на сайте много, страниц всего тысяч 8, но программа вылетает на 390й странице Онлайн версия выдала список из почти 8 тыс строчек, но при этом сохранить карту сайта не предлагает. При экспорте в *.csv опять грабли - из своей стац. версии я могу импортировать только xml или текст, причем текст обрезается (порядка 390 урлов входит), но и после импорта я с этим ничего не могу сделать - программа пишет "Нет данных" Т. о., sitemap я создаю с пом Excel (добавляя перед и после урлов нужный текст), веса назначаю пропорционально рассчитаному весу Все это несколько неудобно, хотя деньги, заплаченные за онлайн, конечно, в определенной степени отбиваются даже и при таком подходе.. Кстати, так и не понял, почему меня еще после парсинга попросили доплатить и предложили провести операцию еще раз.. Этот второй раз будет стоить столько же?