Новая, уникальная программа для перелинковки сайта и проверки площадок

Пока нет, на данный момент до 5000. Правда некоторые умудрялись и 10000 обработать, но это уже жесть.

задавал вопрос Sterh-у, он сказал что прогой уже не занимается и лучше писать в топике. Что тут ей занимается некий exp131

Вот мой вопрос

В текущей версии программа маскируется под Mozilla Firefox и соответственно выдает юзер-агент: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5. Но при парсинге файла robots.txt использует ВСЕ инструкции disallow.

Да, алгоритм парсинга robots.txt имеет ряд недороботок, и понимат только инструкции disallow: без символов * и $. Его почти полная переделка намечена на вторую версию программы.

Сейчас для ограничения зоны сканирования используйте исключения ("Настройки" -> "Опции"). Об их использовании можно узнать из нового хелпа.

у меня роботсом закрыто более 1000 страниц - это все дубли. Добавлять вручную это все очень нудно, да и найти каждый адрес нужно (в роботс необязательно ведь каждый урл прописывать отдельно).

скажите как скоро она появится. Хотелось бы чтобы программа понимала роботс так же как это делают поисковики, в частности яндекс и гугл. Хотелось бы чтобы прога понимала не только disallow, но еще и Allow и символы * и $ А также последовательность - сначала Allow, а потом disallow или наоборот. И чтобы можно было выбрать юзер-агента - для кого проверяем это все для яндекса или для другого каго-то. На некоторых сайтах нужно писать разные правила индексации для разных поисковиков.

вы уже готовы принимать оплату за программу, ?

Как я уже говорил это задача для второй версии, при том, не основная. Поэтому точных сроков назвать не могу. Но все изменения и доработки будут публиковаться в этом топике. Поэтому следите за темой.

exp131 добавил 13.06.2010 в 11:21

Как ни странно, но робокс уже вторую неделю не подключает интерфейс для приема оплат, по разным причинам. Поэтому я все еще веду переговоры.

Однако, если Вы хотите купить программу уже сейчас - пишите на support@page-weight.ru.

Программа не работает на техническом имени сайта, показывая в результатах лишь главную страницу. Тестировался сайт вида http://2.site.z8.ru/

Программа работает с любыми именами сайта, даже с IP адресами. Единственное условие чтобы сайт был доступен с той машины где запускается программа.

В вашем случае, тот УРЛ, что Вы указали не доступен с моей машины, поэтому мне сложно сказать почему у Вас не сканирует далее главной страницы. Но проблема либо в доступности сайта, либо в верстке страницы. Если Вы уверены что все в порядке - отправьте html код страницы на support@page-weight.ru, если нужно я внесу изменения в программу.

приобрел сегодня данную прогу, в целом доволен ее работой и интерфейсом, но обнаружил один недочет, который делает некоторые ее функции крайне неудобными в использовании, в частности в моделировании виртуальных ссылок - есть функция выделения части либо всех исходящих или входящих ссылок на странице, но при нажатии кнопки del, удаляются не все выделенные, а только одна верхняя.. Получается, что при желании смоделировать распределение веса на сайте, виртуально заключив в nofollow ссылку, которая присутствует на всех страницах сайта, но бесполезно снижает передаваемый вес на другие страницы, нужно либо до посинения по одной удалять все входящие ссылки на этой странице, либо отказаться от моделирования и внести изменения на сайте, а затем заново запустить сбор данных, что весьма затратно по времени..

Будет исправлено в ближайшем обновлении.