Помогите определить фильтр в Яндексе

Всякие пауки не найдут страницы, на которых нет внутренних ссылок.

Потому и нужен весь список урлов. Например из XML. Затем нужно найти на каждую страницу сколько раз ссылаются внутри сайта. Это скрипт легко выполнит. На ПХП это легко сделать. Главное корректно определять все кривые ссылки в коде, а то рукажопых наполнений сайтов много.

Обязательно знать сколько раз или достаточно понять есть ли хоть одна ссылка?

Чтобы это сделать на пхп, надо

1. дать список урлов (вообще всех с сайта, их допустим 25000 и более) = "список". кстати это вообще не проблема.

2. скрипт будет брать поочередно урл из "списка" чтобы найти его вхождение в код любого документа из "списка".

3. в цикле (список) парсит код документа и проверяет есть ли вхождение такой подстроки в документ (абс или относительный). если да, прерывает, присваивает "ок" и переходит к п.2.

но и тут есть баг. допустим урл125, на него ссылается урл8727. 125й получит - ок, а вот ведь на 8727 может не быть ссылок.

имхо, не уверен что это не нагрузит, да и не все так просто

Вот человека это заставить, повеситься точно! =)

---------- Добавлено 31.07.2019 в 17:09 ----------

Чуть быстрее будет такой маневр:

1) делаем карту сайта через язл! (там глубина до 4)

2) Берем отдельный список всех существующих страниц, например, из XML

3) Находим совпадения и удаляем, а где нет совпадений - это страница без ссылок из сайта!

Да все понятно, из подокументно проверяем.

А что делать если:

взяли урл1. он есть в урл125. но вот урл125 нигде не светится. урл125 - плохой. Что делать с урл1 ? Он "плохой" ? ))

скрипт написать дело несложное, незнаю только пройдет ли сервак нагрузку)

У вас вообще с логикой как? Еще раз - все страницы, которое линкованы, найдет краулер. Все страницы с сайта, что есть, минус страницы краулера - те, на которые нет линков. И да, в этом нет ничего страшного. Естественно, сейчас пойдут пьяные вопли из питера, но для нормальных людей советую посмотреть выдачу по запросам типа "билеты отсюда туда" и т.п. Где просто берется база пересечений, и очень часто не линкуется в принципе - индексируется через sitemap. И ничего, очень даже висит в топах. Про откровенные доры вообще молчу.

Аналогичная проблема есть? В ПХП можно задержку ставить и тем самым снизить нагрузку на ЦП и оставить на ночь , например.

---------- Добавлено 31.07.2019 в 17:39 ----------

Ну да, только это снижает доверие к хосту. Если оптимизатор, то используй.

Так у человека по брендам нормально по позициям и ПФ там норм. А на проблемных страницах плохой ПФ из за отсутствия продаж + еще спам такой в виде скрытых архивных страниц.

Ну вот может отпишутся потом и скажут сильно помогло или нет. Но проверить стоит. Лучше на это потратить время и деньги, чем на покупку ссылок.

---------- Добавлено 31.07.2019 в 17:41 ----------

И да, денег жалеют на рекламу. Отдачи нет от контекста. Что то же нужно сделать для поднятия статистики по ПФ. Может проблема в товаре, а не контексте. Это основная проблема тогда, а не архивные товары!

* Пока смотрел конкурентов по тематике одежды, то увидел, что у многих иногда смена релевантной или близкой по смысловой, но более целевая есть!!! Это говорит о замере целевой стр через ПФ и яндекс так тестирует, а может из за спамности на хосте! Я думаю, что это комплексно + иногда и без спамных и с четкими ПФ бывали смены релевантной. Но позиции нормальные.

Ллллогика! Вы правы. Теперь мне известны возможности краулера )

Я думаю надо провести тест. Взять монобрендовый магазин с 200 товарами. Налить в него фиктивных товаров пару тысяч, без внутренних ссылок на эти товары и надпись в них засандалить "нет в продаже". Вы считаете что ничего не будет с основным запросом?

А что касается выдачи, да, там всякое есть и откровенное УГ и неоткровенное. Но это не отменяет "теорию" Питерского. Почему нет, а вдруг сработает.

Miha Kuzmin (KMY), не злись! Сам любишь бесить народ!

---------- Добавлено 31.07.2019 в 17:50 ----------

Ахтунг гарантирую! Ну может еще чуть подождать. Но старые тексты когда сплывали из за кривого движка и без цепочки навигации это быстро приводило к проседанию по всем запросам! 1-3 апа в индекс.

Про тексты и навигацию не понял. Можете пояснить? )