Количество страниц сайта, ROBOTS.TXT и страницы ошибок...

12
molodec
На сайте с 06.09.2006
Offline
104
915

Здравствуйте,

У меня есть интернет-магазинчик, достаточно "пожилой", с большим количеством товаров (страниц).

Товары меняются, удаляются, переносятся и т.п.

Яндекс индексирует все подряд. Наример: где он взял страницу http://www.sporthome.ru/index.php/index.php?productID=1179&PHPSESSID=0d7391664064a2d8578f57734819a82c

Ведь есть нормальная страница: http://www.sporthome.ru/productID/1179/, я бы хотел чтобы он знал ее.... или нифига, тут есть еще круче он знает страницу: http://www.sporthome.ru/index.php/products_pictures/products_pictures/products_pictures/index.php?productID=1096&PHPSESSID=0d7391664064a2d8578f57734819a82c ... сколько

раз можно писать products_pictures ... да хоть миллион,видимо. Но откуда он это взял?! PHPSESSID запарил, кстати.. Яндекс так любит, все страницы с этой фигней, помимо десяти раз продуктс пикчерс...

дальше вот такая тема: он знает http://www.sporthome.ru/index.php?productID=465&discuss=yes

Дискусс=ес я убрал давно давно все ссылки на эти дискусы (раньше с товара можно было зайти в обсуждения, потом я убрал эту функцию, может и зря, конечно - ну надо как то заставить этого яндекса забыть про эти дискуссии... Или не надо? Может она более релевантная и все таки вернуть обсуждения на место?

Он индексирует несуществующие страницы, например:

Так вот: Яндекс меня любит иногда по товарам, каких уже давно нет. Не смог найти пример, но такая тема была - я нажимаю на страницу и перехожу автоматически на главную. Ну, возможно, это было с только что удаленным товаром или группой...

Я сделал спецально псевдо-прямые урлы на кажлый товар и группу - упрямая машинка берет все таки и обрабатывает урлы с запросами... вот полный прайс с прямыми урламиhttp://www.sporthome.ru/index.php?show_price=yes а он тем не менее индксирует страницы про которые вообще надо забыть как класс: http://www.sporthome.ru/index.php?productID=253&discuss=yes ... опять discuss.... блин...

Псевдо-прямые урлы я сделал еще зимой, давно дело было

Также он знает, например, http://www.yandex.ru/yandsearch?text=%23url%3D%22www.sporthome.ru*%22&stype=www (страницу www.sporthome.ru/tebletennis/info/oslo.html), которой в природе быть не должно - я хотел бы чтобы дирректория tabletennis была как http://tabletennis.sporthome.ru/ .

Кстати этот сайт есть в яндекс-каталоге как отдельный проект, занесли бесплатно и спасибо яндексу. Кстати иногда он знает страницу, ну например результаты поиска: http://tabletennis.sporthome.ru/index.php?searchstring=Start+Line+OLYMPIC&x=2&y=10 ... откуда он это взял?!

Теперь внимание вопрос: как правильно написать роботс.тхт, чтобы этот яндекс:

1. Узнал те страницы, какие необходимо. Это страницы с группами товаров (урл вида http://www.sporthome.ru/categoryID/29/) и с непосредственно товаром (урл вида http://www.sporthome.ru/productID/3948/) Также страницы с инфой (урл вида http://www.sporthome.ru/show_aux_page/16/)

2. Забыл наконец таки про www.sporthome.ru/tabletennis и знал толко http://tabletennis.sporthome.ru/

3. Чтобы яндекс забыл про все страницы с сессиями ай ди, миллионами продуктс-пикчерс и т.п.

-----

И основной вопрос: повлияет ли решение этой проблемы ненужных страниц на выдачу и на позиции моего сайта в яндексе.

С уважением, molodec.

K
На сайте с 31.01.2001
Offline
737
#1
molodec:
откуда он это взял?! PHPSESSID запарил, кстати.. Яндекс так любит, все страницы с этой фигней, помимо десяти раз продуктс пикчерс...

Значит а сайте ссылки именно с этой фигней выдаются без всякой авторизации первому встречному, в том числе и роботу Яндекса.

Только врядли Яндексу нравится жевать эту бесконечную жвачку.

Убрать ссылки с сессиями, закрыть нафиг сайт от индексации и переиндексировать заново.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
molodec
На сайте с 06.09.2006
Offline
104
#2
Kost:
Значит а сайте ссылки именно с этой фигней выдаются без всякой авторизации первому встречному, в том числе и роботу Яндекса.
Только врядли Яндексу нравится жевать эту бесконечную жвачку.
Убрать ссылки с сессиями, закрыть нафиг сайт от индексации и переиндексировать заново.

Ссылки с сессиями?.. Покажите мне хоть одну - немедленно уберу. Я работаю с магазином не вижу никаких ссылок с сессиями..... Естественно, что яндексу это мало нравится. Как закрыть сайт - сезон на носу, мне надо решить вопрос "на горячую" :) Я не совсем спец, пожалуйста дайте более развернутый совет. Заранее спасибо.

AN
На сайте с 05.06.2004
Offline
243
#3

Сейчас все нужные страницы переведены в псевдостатику?

Если да, то

Disallow: /index.php?

(или даже без "?" - судя по примеру http://www.sporthome.ru/index.php/pr...8f57734819a82c ... ).

molodec:
И основной вопрос: повлияет ли решение этой проблемы ненужных страниц на выдачу и на позиции моего сайта в яндексе

На какое-то время да - если страницы с кривыми урлами будут уходить из базы быстрее, чем будут индексироваться с правильными, что очень даже вероятно. Но в итоге должно стать лучше.

Размещу ваши баннеры на посещаемых сайтах. Места еще есть! Возможен безнал. (/ru/forum/324945) Нужны копирайтеры/рерайтеры - медики. Пишите в личку. (/ru/forum/676932)
molodec
На сайте с 06.09.2006
Offline
104
#4

Вот мой текущий роботс

User-agent: *

Disallow: /cgi

Disallow: /run

Disallow: /tabletennis

Disallow: /news

Host: www.sporthome.ru

и тем не менее, он спокойно жрет http://www.sporthome.ru/tabletennis

по этому вопросу кто нибудь что нибудь подскажет? :)))

Revan
На сайте с 09.09.2005
Offline
321
#5

Поставьте со всего мусора 301 редирект на правильный адрес этой страницы. Правильный ответ это. :)

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
A
На сайте с 15.12.2004
Offline
28
#6

php_value session.use_trans_sid 0

отключите сессии в ссылках в .htaccess, чтобы не было этих длинных хвостов для начала

Интернет-магазин электроизмерительных приборов (http://www.electric-shop.ru)
molodec
На сайте с 06.09.2006
Offline
104
#7
Andign:
php_value session.use_trans_sid 0

отключите сессии в ссылках в .htaccess, чтобы не было этих длинных хвостов для начала

круто... спасибо!!!! эх, если бы я еще что нибудь в этом понимал :)

но у меня сессии отключены, во всяком случае лично я, когда работаю с магазином, таких хвостов в адресной строке не замечал... или я не там не то смотрю? или то что я вижу - ничего ровным счетом не значит?

molodec
На сайте с 06.09.2006
Offline
104
#8
Revan:
Поставьте со всего мусора 301 редирект на правильный адрес этой страницы. Правильный ответ это. :)

Я что, должен каждуй страницу кривую прописать и сделать редиркет?.. да их тысячи!.. или я опять не то говорю?.. Скажите мне что я должен сказать программисту!!!

AVV
На сайте с 31.07.2006
Offline
84
AVV
#9
molodec:


и тем не менее, он спокойно жрет http://www.sporthome.ru/tabletennis

http://www.yandex.ru/yandsearch?serverurl=http%3A%2F%2Fwww.sporthome.ru%2Ftabletennis


Результат поиска: страниц — 0
Область поиска: сайт — www.sporthome.ru/tabletennis
Искомая комбинация слов нигде не встречается

Значит, все-таки, не жрет? ☝

molodec
На сайте с 06.09.2006
Offline
104
#10

Спасибо... А как насчет http://www.yandex.ru/yandsearch?numdoc=50&text=%23url%3D%22www.sporthome.ru*%22&pag=d&rd=0 ... он знает зато, все которые находятся ниже :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий