Технический аудит сайта. Какие данные нужны?

Sterh
На сайте с 15.06.2006
Offline
226
1135

Ситауция. Есть сайт, есть парсер, который выдерает его со всеми потрохами.

Задача: быстро найти возможные ошибки. Какие данные можно вывести:

1) Все страницы с ответом сервера, отличным от 200ОК

2) Битые ссылки в виде где находятся/куда ведут

Какие еще данные нужны?

Программа для настройки внутренней перелинковки сайта: купить (http://www.page-weight.ru/) Проверка внешних ссылок на сайт (https://backlink.page-weight.ru) (когда Ахрефс дорого) Возьму на продвижение пару магазинов, & SEO консультации (/ru/forum/987866) для сложных случаев.
Fruit
На сайте с 15.07.2008
Offline
166
#1

Индексация каждой страницы,

Уникальность текста на каждой странице,

Тематика для страницы и общая по сайту.

Это было бы круто для проверки доноров.

S
На сайте с 13.12.2009
Offline
81
#2
Sterh:

1) Все страницы с ответом сервера, отличным от 200ОК

Опционально указания статуса было бы лучше(отсутствие, присутствие).

Скорость загрузки страницы, с возможностью указать начальный таймаут для фильтрации.

Присутствие ворнингов php.

Отсутствие Content-Type заголовков.

Бесконечные перенаправления(и опять же опционально указать их количества).

Batch Domain Tools (https://github.com/w3bstate/batch-domain-tools/releases) - пакетная работа с доменами и субдоменами.
Sterh
На сайте с 15.06.2006
Offline
226
#3
Fruit:
Индексация каждой страницы,
Уникальность текста на каждой странице,
Тематика для страницы и общая по сайту.

Это было бы круто для проверки доноров.

Для первых двух пунктов нужно парсить поисковики. Так что пока увы. Для третьего - нужны словари. Так что тоже пока увы.

Уникальность текста внутри сайта будет реализовано в последствии, но не в рамках тех. аудита.

seomoneys:
Опционально указания статуса было бы лучше(отсутствие, присутствие).

В принципе так и подразумевалось - если статус отличет от 200ОК, то выводим УРЛ и код ошибки

seomoneys:

Скорость загрузки страницы, с возможностью указать начальный таймаут для фильтрации.

Вот скорость загрузки в базу не пишется.

seomoneys:

Присутствие ворнингов php.

Нет ли какого сайтика с ворнингами? Глянуть бы, как парсер их отработает

seomoneys:

Отсутствие Content-Type заголовков.

Принято. В принципе метатеги можно собрать и вывести любые.

seomoneys:

Бесконечные перенаправления(и опять же опционально указать их количества).

А это что за зверь такой? :)

S
На сайте с 13.12.2009
Offline
81
#4
Sterh:

Вот скорость загрузки в базу не пишется.

Это иногда бывает полезно, например для поиска на чужих движках не оптимизированных запросов к бд.

Sterh:

Нет ли какого сайтика с ворнингами? Глянуть бы, как парсер их отработает

Ну этого добра полный интернет.

Она имеет стандартный формат:


<b>Warning</b>: ...... on line <b>1</b><br />
Sterh:

Принято. В принципе метатеги можно собрать и вывести любые.

Нет, я про HTTP поле а не про метатег имел ввиду.

Sterh:

А это что за зверь такой? :)

Запрашиваем страницу a.html, получаем редирект(301,302) на страницу b.html, запрашиваем страницу b.html, получаем редирект на страницу a.html и так ∞.

Fruit
На сайте с 15.07.2008
Offline
166
#5
Sterh:
Для первых двух пунктов нужно парсить поисковики. Так что пока увы. Для третьего - нужны словари. Так что тоже пока увы.

Прикрутить антик**чу - и вперед!

Технический аудит для seo без анализа индексной базы - звучит смешно :)

Sterh
На сайте с 15.06.2006
Offline
226
#6
Fruit:
Прикрутить антик**чу - и вперед!
Технический аудит для seo без анализа индексной базы - звучит смешно :)

Видимо мы по разному понимаем тех. аудит. В моем понимании - это ошибки на сайте (в коде, настройках сервера и т.д.)

Все, что связано с индексацией и ранжированием - это уже малость другая песня :)

Fruit
На сайте с 15.07.2008
Offline
166
#7
Sterh:
Видимо мы по разному понимаем тех. аудит. В моем понимании - это ошибки на сайте (в коде, настройках сервера и т.д.)

Согласен с вашим определением, просто программ/сервисов по проверке кода, ответа сервера, внутр. ссылок и прочего хватает и так. Ничего нового вы уже не сделаете.

Я, как оптимизатор, назвал тот функционал, который мне нужен, который из известных мне программ ни одна не предлагает.

Sterh
На сайте с 15.06.2006
Offline
226
#8
Fruit:
Согласен с вашим определением, просто программ/сервисов по проверке кода, ответа сервера, внутр. ссылок и прочего хватает и так. Ничего нового вы уже не сделаете.

Я, как оптимизатор, назвал тот функционал, который мне нужен, который из известных мне программ ни одна не предлагает.

Да собственно и не пытаюсь :) Нужно сейчас состряпать легкий модуль, для отладки взаимодействия с парсером. Ну и что бы усилия совсем даром не пропали, хочется сделать этот модуль хоть немного полезным :)

Ну а куча сервисов, как правило, проверяет одну страницу, а не сайт целиком. Если я не прав - поправьте, буду признателен за ссылку на такой сервис.

Fruit
На сайте с 15.07.2008
Offline
166
#9

1, 2, тысячи их. Все не вспомню, но обход сайта, как возможность, встречал часто.

Sterh
На сайте с 15.06.2006
Offline
226
#10
Fruit:
1, 2, тысячи их. Все не вспомню, но обход сайта, как возможность, встречал часто.

Ага, благодарю. Вот про xenu я как то совсем забыл.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий