В данном случае имеется проблемау сайта ТС.
Причина, по которой сайт забанен - отсутствие тематичности. А другие... до других ещё пока не добрались...
Итоги:
1. Содержание. Нет тематики - сайт обо всём.
2. Дизайн и шаблон. Нет уникальности. Эффект дежавю - как будто я это уже где-то видел.
Такой сайт яндексу не нужен. Однозначно. Писать бесполезно.
Кстати, в темке упоминалось, что у кого-то коммерческие сайты не индексируются... любопытно было бы взглянуть на эти сайты. :)
Thanx добавил 22.10.2009 в 15:56
Совершенно верно. Уничтожение дубля - это не решение проблемы.
Если у Вас не было предыдущей версии форума на движке phpBB2, то думаю, что подобные страницы у Вас не попадут в индекс. В моём случае это всё последствия phpBB2. Я даже расширил строку
Clean-param: sid&f&st&sk&sd&view&postdays&postorder&p /viewtopic.php
на "&highlight"
Clean-param: sid&f&st&sk&sd&view&postdays&postorder&p&highlight /viewtopic.php
после того, как нашёл оный параметр в индексе. 😂
$
Из примера яндекса:
User-agent: YandexDisallow: /example$ # запрещает '/example', # но не запрещает '/example.html'
но в моём случае наоборот, нужно короткое написание без лишних символов разрешить, а написание длинное - исключить из индекса.
А ещё у меня есть такие окончания ссылок в индексе:
1. /viewtopic.php?f=12&t=698&start=0&st=0&sk=t&sd=a
2. /viewtopic.php?t=202&view=next
3. /viewtopic.php?t=359&postdays=0&postorder=asc&start=20
4. /viewtopic.php?t=871?=/
Скажем так, на 1,2 и 3-й пункт можно написать инструкцию
Clean-param: st /viewtopic.php
Clean-param: sk /viewtopic.php
Clean-param: sd /viewtopic.php
Clean-param: view /viewtopic.php
Clean-param: postdays /viewtopic.php
Clean-param: postorder /viewtopic.php
А вот что делать с 4 пунктом?
В вебмастере вот так:
при запросе
.../viewtopic.php?t=87*
выдаёт
/viewtopic.php?t=871?=/
/viewtopic.php?t=873
/viewtopic.php?t=870?=/
/viewtopic.php?t=87
/viewtopic.php?t=877
/viewtopic.php?t=874
/viewtopic.php?t=879
/viewtopic.php?t=875
Собственно, кусочек "?=/" не мешает уникальности индексации, и 871 и 870 тема появляются только один раз, но всё же не эстетично, каким образом в роботсе убрать этот конец строки "?=/" ?
Thanx добавил 22.10.2009 в 12:00
И ещё, 2 строки:
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Можно превратить в одну:
Thanx добавил 22.10.2009 в 12:12
А может, ещё лучше сделать так:
Clean-param: f&st&sk&sd&view&postdays&postorder /viewtopic.php ?
Thanx добавил 22.10.2009 в 12:29
Попробую сделать
Disallow: /viewtopic.php?t=87*?=/
И посмотрю на результат
Да я знаю, что там после перехода на главную и назад в тему, уже приплюсуется параметр f. Ну и что? Кстати, внешняя ссылка на данную страницу про розы стоит со времён phpBB2.
Однако, хоть теперь и phpBB3, но временами бывают глобальные переработки форумов, когда темы переезжают из раздела в раздел. При параметре f все ссылки будут накрываться "медным тазом", а это ни к чему. Всё хорошо и без параметра f. Поэтому я после некоторых экспериментов, скорее всего, введу в роботс параметр
Clean-param: f /community/viewtopic.php
Чтобы параметр f отрезался, мне он ни к чему при переходе с ПС, а юзер... юзеру всё-равно будет... после того, как он начнёт лазить по форуму, к его урлам приклеиться и f, и sid. А для ПС f избыточен. Ну вот избыточен, и всё тут.
Оставить можно, но это избыточный параметр. Более того, при оптимизации вредный.
Вот, размещена внешняя ссылка на урл:
http://site.**/forum/viewtopic.php?f=22&t=1475
Через год тема переходит в другой форум:
http://site.**/forum/viewtopic.php?f=21&t=1475
Всё... ссылка накрылась.
А если ссылка такая
http://site.**/forum/viewtopic.php?t=1475
то смена форума ссылочному не вредит.
Да и в серпе такие ссылки смотрятся хорошо, немного короче. :)
Имхо, абсолютно не вредит оптимизации, а наоборот.
Вот смотрите, к примеру московская выдача яндекса по фразе "комнатные розы":
http://yandex.ru/yandsearch?text=комнатные розы
6е место:
http://avflower.com/flower/viewtopic.php?t=163
Имхо, всё гуд.
Thanx добавил 21.10.2009 в 16:34
Вам спасибо за инфо про "Clean-param". Я ранее не употреблял. Спец моды по sid'у ставить не хотел, а указание ПС в разделе ботов не во всех случаях избавляет от sid'ов.
И да, я тоже смторю, что для яндекса нужно писать отдельную секцию в роботсе, а иначе он не всю инструкцию читает. Странно, но факт.
С удовольствием обменяюсь ссылками по недвижимости, в 2х кликах, ПР4 у морды, тиц 10.
У меня есть один сайт YaCa Отдых/Туризм/Универсальное. Готов к обмену контекстными ссылками не из каталога.
Thanx добавил 20.10.2009 в 19:18
тиц большой
Сначала наставляем статьи на свои СДЛ'ы навсегда, потом ссылки навсегда, а потом почему-то приходит АГС-17, и сообщает, что СДЛ то уже давно не СДЛ, а ГС. Это первое удивление - для вебмастеров.
А потом удивляемся, почему кругом Г. Это второе удивление - для оптимизаторов.
А на самом деле ничего удивительного. :D
Просто СДЛ, на который потрачено тысячи долларов, не торгует ссылками по 1 руб. с условием "навсегда". :D
Нашёл? :D (Как я люблю эти "умные" "многосодержательные" фразы)
Да, всё верно, спасибо, ставлю Ваш robots.txt. У меня было что-то подобное, но не всё, к примеру, надежды на прописанные боты в админке не оправдались, яндекс всё равно кушает sid'ы. Придётся их убить в robots.txt.
Могу добавить, что если стоит мод репутации, то нужно ещё добавить:
Disallow: /community/reputation.php
И ещё одна штуковина, параметр f=n, где n - номер форума. Может стоит убирать этот параметр кодом
Clean-param: f /viewtopic.php
Бывает ставишь внешнюю ссылку без этого параметра, на случай, если число f поменяется.
