allStars

Рейтинг
135
Регистрация
01.07.2003

greenwood

Вы бы еще написали какие сервисы Вы хотели бы увидеть.

Как писал Cossack
Все одно - как не верти - или раздавать всем код или проверять вручную.

Вручную?

Среднее кол-во страниц на сайтах заказчика 25000.

Newm

Конечно в чем-то вы правы.

Кроме роботс.тхт надо парсить саму нтмл-ку, т.е. всякие ноиндекс, не запихали ли это дело в скрипт, в комментарии, в тайтл и вообще, как только не поизвращались.

Единственное noindex можно закрыть т.к. модуль HTML::LinkExtor берет только ссылки.

Как писал Polite Moose
allStars, в Вашей программе было бы неплохо еще и парсер robots.txt добавить. Ходить по ссылкам это да, но ведь часть путей может быть закрыта для поисковых роботов. И получится, что нужный фрагмент кода есть, но на недоступных страницах.

Спасибо за дополнение, я даже об этом не подумал 🍻

Спасибо Scaramush,

Вы забыли про HTML::LinkExtor :)

Я знаю как написать, да и почти закончил работу.

Мне интересно где-нибудь есть подобный онлайн сервис?

А то я что-то сразу за программирование сел, даже не поискал, может уже где-нибудь это есть.

vladax

Например Перловым модулем LWP.

Ждать уже вторую неделю жду

У меня, уже скоро как пол-года, страница описанная в каталоге не переиндексирована Яндексом.

В выдаче видна как "найдено по ссылке", но радует, что высоко пока.

Где их купить можно? Или как предложить себя для таких ссылок?

Не сочтите за рекламу, clx.ru

Сегодня на одном из сайтов утром гугль-бар показывал ПР больше (+1).

Просмотрел бэкардс, там была всего одна страница - главная страница этого-же сайта.

Сейчас ПР и бэкварды как вчера :(

funnybunny

Вот я и нашел кто спамит на моей(и не только) доске объявлений,

таких вообще банить нужно, а не пятый раздел в каталог включать.

Оптимизаторы блин ...

Всего: 552