40 WMZ
подправил, проблему не решило
10 минут максимум и
503 Service Temporarily Unavailable
причём грузит долбанный yahoo slurp который вообще не должен заходить на сайт
72.30.161.223 - - [08/Jan/2009:16:48:21 +0300] "GET /catalog/ipod/index.php?action=ADD2BASKET&id=1047&SECTION_ID=168&ELEMENT_ID=1047 HTTP/1.0" 302 19604 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
bankirfans добавил 08.01.2009 в 17:14
вот нашёл на похожем магазине роботс:
User-agent: Yandex Disallow: /*index.php Disallow: /*PAGEN_100= Disallow: /*sort= Disallow: /*filter_price Disallow: /*SAP_filter Disallow: /*SELECTION_ID Disallow: /*XID Disallow: /*print Disallow: /admin/ Disallow: /bitrix/ Disallow: /cat/compare.php Disallow: /cat/detail_pictures.php Disallow: /flash/ Disallow: /forum/ Disallow: /help/gifts/ Disallow: /img/ Disallow: /mobile/ Disallow: /personal/ Disallow: /search.php Disallow: /search/ Disallow: /upload/ Disallow: /css/ Disallow: /scripts/ Host: www.eldorado.ru
есть несколько вопросов что запрещает от индексации строка Disallow: /*index.php ?
ситуация не разрешилась, файл роботс.тхт следующий:
User-agent: * Disallow: /bitrix/ Disallow: /auth/ Disallow: /personal/ Disallow: /personal/index.php?login Disallow: /catalog/index.php?action Disallow: /index.php?action Disallow: /catalog/accessories/index.php?action Host: www.begenius.ru User-Agent: Yahoo! Slurp Disallow: / User-agent: msnbot Disallow: /
однако логи показывают что роботы всёравно ходят по страницам которые запрещены в роботсе.
38.99.13.124 - - [08/Jan/2009:15:09:55 +0300] "GET /auth/?auth=yes&backurl=%2Fcommunication%2Fforum%2Findex.php%3Fbackurl%3D%252Fcommunication%252Fforum%252Findex.php%253FPAGE_NAME%253Dlist%2526FID%253D24%26PAGE_NAME%3Dlist%26FID%3D24 HTTP/1.0" 200 6290 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
38.99.13.124 - - [08/Jan/2009:14:38:44 +0300] "GET /personal/index.php?login=yes&backurl=%2Fcatalog%2Fipod%2Findex.php%3Faction%3DADD_TO_COMPARE_LIST%26id%3D275%26SECTION_ID%3D168 HTTP/1.0" 200 6426 "-" "Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)"
66.249.71.233 - - [08/Jan/2009:14:38:14 +0300] "GET /catalog/accessories/index.php?action=ADD_TO_COMPARE_LIST&id=451&SECTION_ID=156 HTTP/1.0" 200 10175 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
как такое побороть?
если это был вопрос, то ответ да ))
до этого долго искал в инете что-нить подобное, но на всех cms bitrix(а на сайте стоит она)
видель лишь подобное
Disallow: /news/news/index.php?detail=1&ID=1043&print=Y
т.е. прямой путь к проблемному урлу (в смысле к тому который нужно закрыть от индексации)
если кто-то сталкивался с таким, не подскажете не возникнут ли проблемы?
остальные урлы выглядят следующим образом:
/index.php?SECTION_ID=151&ELEMENT
я писал что форум заспамлен.
а бан за что можно получить? чтот не разу не слышал про бан за внешние ссылки?
подтверждаю ап есть, но он идёт прямо сейчас, лучше утром посканить позиции потому как сейчас выдача пляшет
по "аренда микроавтобуса" к примеру нашлось только 2 сайта и то ливеджорнал ))
Вкладка "Обзор содержания", в ней выбираете интересующий урл, кликаете на него и будет счастье по неделям, дням и месяцам.
яша прислушался и сдвинул ваш сайт на второе место,дабы улучшить релевантность
Влиять не влияет, а вот в сниппет подставиться легко может.
