Форум Поисковые системы Google

Странная обработка robots.txt

B
На сайте с 04.05.2008
Offline
2
blackpioneer
674

недельки две назад скормил гугле роботс.тхт где закрыл uдето 200 линков.

но потом через трое суток убрал, оставил только 8 линков (были алертами в диагностикс в админке)

ну гугля обращаецца к этому файлу каждые сутки и наступили новые сутки и все было ок.

где-то через полторы недели после сих действий (первого мая) в админке у меня показывает что в роботсах нашло 44 линка (Web crawl - URLs restricted by robots.txt). хотя естественно в разделе тулс показывает все как надо. Тех рестриктов, которые нужны нету в этом разделе.

как ткое может быть? и список очень странный получился - где-то 30 линков которые были самыми последними в файле, и дальше идут в перемешку линки, которые были в начале без всякой логической связки.

п.с. полуофф - на залинкованных картинках стоит добавлять нофолло?

К
На сайте с 07.07.2007
Offline
21
Камази
#1

Сведения в панели для веб-мастеров, видимо, несколько отстают от жизни.

wolf
На сайте с 13.03.2001
Offline
1183
wolf
#2

Надо смотреть роботс. Одна запись может запретить кучу урлов.

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
B
На сайте с 04.05.2008
Offline
2
blackpioneer
#3
wolf:
Надо смотреть роботс. Одна запись может запретить кучу урлов.

Ну вроде все ок. Чтобы перестраховаться - выложу здесь:

User-Agent: *

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/babe/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/babes/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/horny/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/hot/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/pussies/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/pussy/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/sex/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/wet/

Disallow: /young-hentai-porn-movies/4-sexy-hentai-girls/xxx/

Allow: /

а то что заблокировано - вообще не вписывается ни в какую логику - как уже писал, список который оно видит генерировался очерь произвольно.

wolf
На сайте с 13.03.2001
Offline
1183
wolf
#4

Ух, ты, какая красота. :) А в запрещенных папках - что, только по одному корневому урлу? Кстати, директива Allow: / - бессмысленна в Вашем случае.

B
На сайте с 04.05.2008
Offline
2
blackpioneer
#5
wolf:
Ух, ты, какая красота. :) А в запрещенных папках - что, только по одному корневому урлу? Кстати, директива Allow: / - бессмысленна в Вашем случае.

да, в запрещенных папках только индекс с которого идут ссылки на предыдущую директорию (обычный адалтовский фрих)

в админке Diagnostics-Content analysis написало траблу - дублирование тайтлов и вроде контента. после того как закрыл - где-то через недельку обработало и сняло клаймы. домен свежый еще.

п.с. ну красота, не красота, а занимаюсь только белым адалтом - только адверт и фсе ))

blackpioneer добавил 07.05.2008 в 15:12

сегодня непонятно почему стало 28 урлов

Home page crawl: Googlebot last successfully accessed your home page on May 3, 2008.

Index status: Pages from your site are included in Google's index. See Index stats.

Pages in your Sitemap(s) are included in Google's index. See Sitemaps overview.

URLs restricted by robots.txt 28 Details »

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий