Но может быть кто-то все же знает как зовут краулера Similarweb?
Не искал. Просто написал site:www.mysite.ru
Ну если в Google написать site:/, то покажет все страницы в индексе, как правило, главная на первом месте т. к. у неё веса больше. И так у всех адекватных сайтов
А что означает "с гуглом как всегда"? Мне как раз под гугл и нужно
Эти команды и так прописаны в моем robots.txt, но страницы, которые уже попали в индекс гугл роботсом не выгонишь. Для этого есть X Robots Tag. Но вот что-то не складывается---------- Добавлено 13.08.2015 в 10:33 ----------
Спасибо, конечно, но я читал и этот пост и что советует гугл, но заголовок то не отдается (
