Мне кажется, сперва нужно парсить url. А уж потом тянуть и title. Новости наверное тянутся по этому принципу?
Если файлов много, то на сервере, боюсь что изменить будет крайне проблематично, время ограничения работы скрипта. Это первое.
Второе, размеры текстовых файлов. И flock в этом случае может не помочь.
Добавлю еще один момент. Один и тот же запрос, но разные регионы. В одном регионе ссылка идет на морду, в другом - на внутреннюю страницу одного и того же сайта. Получается, что релевантность зависит еще и от региона запроса.
А по какому региону Вы пытаетесь продвинуть свой запрос?
Глянул на результаты работы Язла по вашему ресурсу - ровно 100 линков. Из них словосочетаний где встречается "наружная реклама" в различных склонениях чуть меньше 20. Может этого не достаточно?
Плюс структура сайта построена таким образом, что до многих страниц поисковик просто не доберется.
Для начала пропишите Host в файле robots.txt
А что значит по Вашему "спамные анкоры"? К примеру, я размещу на Ваш ресурс ссылку, это спамный анкор или нет?
Я уже как года 1,5 пользуюсь Гуглом и ни разу не пожалел об этом. До этого тоже по старой привычке терзал Яндекс 😆
Яндекс давно уже бъется над поведенческим таргетингом. К примеру, баннерная реклама у Яши давно по такому принципу работает.
К примеру, если вы посетили большое кол-во сайтов строительной тематики, то вероятность рекламы шпатлевки очень велика. Но это, повторюсь, касалось только баннерной рекламы.
Возможно в последнее время Яша такой же алгоритм ввел и в поиск.
Скорее всего время выдачи. Проверял один запрос по Москве и СПб вчера вечером через сервис Яшки. Получил один результат по двум регионам. Сегодня утром совершенно другой, что по Мск, что по СПб.
Может свободного места не осталось? У меня такое как-то было.
