вытащить url-ы страниц из соплей гугле?

vigilant
На сайте с 14.10.2010
Offline
82
542

А как вытащить адреса страниц из соплей, чтобы они были в виде списка? Не руками, а как-нить автоматом бы.

И еще бы автоматом их запихнуть в удалялку..

L
На сайте с 15.01.2008
Offline
112
#1

Так на вскидку и не скажешь. Но если не совсем изящно, то можно вытащить список вообще всех страниц сайта, потом вытащить весь список из основной выдачи и методом исключения получить сопли. Например, в Эксель. А в удалялку списком никак не запихнуть. Зато можно в роботс:)

marinero
На сайте с 20.05.2012
Offline
42
#2
Зато можно в роботс

Только очень часто гуглу просто по барабану robots.txt)

Монетизация сайтов с фильмами.Деньги для киносайтов (http://websharks.ru/ref/5220/). Рефералам помогаю с установкой.
vigilant
На сайте с 14.10.2010
Offline
82
#3

Да в том-то и проблема.. Сами же в своих сраных рекомендациях пишут, что роботс - одно из средств удаления из поиска(индекса), а фактически все закрытое в роботсе висит в соплях.. Можно конечно открыть и он типа сам удалит(может быть), но например с уже удаленными тегами неудобно... Закрыты-то по общей маске /tag(

Еще и так просто из выдачи руками не скопипастишь, ссылки-то с редиректом.. Эх

anchous
На сайте с 12.10.2010
Offline
139
#4
vigilant:
Сами же в своих сраных рекомендациях пишут, что роботс - одно из средств удаления из поиска(индекса)

надо чуть внимательнее факи читать, там сказано что закрытие в роботсе не гарантирует закрытие от индексации, поэтому гуглеводы настоятельно рекомендуют юзать метатеги

Купить быстрые анонимные прокси в России, Европе и США (http://proxy4seo.net/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий