скриминг фрог

varlencko, просканированные (найденные) роботом.

В режиме Spider mode лягушка обходит все страницы вашего сайта , по правилам, которые вы зададите.

Если не зададите правил - обойдет все страницы которые найдет.

которые найдет - а где ищет? в кэше?

---------- Добавлено 09.08.2016 в 12:44 ----------

если на страницах прописан мета тег роботс - ноиндекс, нофоллоу, такие страницы программа найдет?

На сайте ищет (ходит по ссылкам), какой кэш?

Найдет все страницы/скрипты/картинки, на которые есть ссылки на вашем сайте.

Нет, пауком-парсером бегает по живому сайту (если не включен режим SERP, конечно).

По умолчанию лягушка игнорирует все страницы, которые закрыты в роботс, и ссылки nofollow.

Но снятием 2-3 чекбоксов в настройках это легко исправляется.

она сама как поисковый робот, который стоит у вас на компьютере.

работает по тем же правилам по которым работает робот Яши и Гоши.