pfarchive.cgi в конце вопроса - опечатка; это perlarchive.cgi должно быть; сути вопроса не меняет.
В /cgi-bin/ директории лежат не только Perl-скрипты, но и некоторые файлы различных форматов (включая небольшие базы данных), которые они обрабатывают. Светить их в robots.txt желания нет. Можно их перенести в отдельную папку, но придется лезть и перепрограммировать скрипты. В принципе, из сети нарпямую их не видно, если только в robots.txt о них ничего не писать, а на директорию выставить права (которые вроде и сейчас стоят), чтобы робот не мог просмотреть ее содержимое.
У меня самописный форум. Работает он так.
Адреса разделов
site.ru/perlforum.html
site.ru/phpforum.html
и пр., где *.html - * это отдельная тема форума (Perl, PHP и пр.).
В каждую такую *.html-ку подгружается Perl-скрипт (инклюдом), который и выводит темы топиков, тексты сообщений людей, открывших эти топики. (страницы с комментариями к этим сообщения уже имеют адреса вида comment.cgi?data=2006-11&tid=123 и т.п.)
Вопрос вот в чем. В этих html'ках высвечиваются сообщения в текущем месяце. Когда начинается новый месяц, старые сообщения доступны в архивном разделе форума, а в этих .html-ках, пока никаких новых сообщений в этом месяце не появится, просто стоит ссылка на архивные раздел и все. Потом это постепенно опять начинает заполняться. Потом опять все в архив и по-новой.
Понятно, что поисковик заходит на страницу perlforum.html, индексирует ее содержимое и дает в выдаче. Проходит месяц, он заходит опять на эту страницу и видит, что там нет тех сообщений, что были раньше.
Вопрос: не скажется ли негативно такая схема работы форума на его индексировании и позициях в выдаче?
Еще вопрос. Сейчас в robots.txt полностью закрыта /cgi-bin/ часть.
Вывод perlforum.html делает скрипт perlforumview.cgi, то есть эта страница доступна по
адресу как perlforum.html, так и perlforumview.cgi, а последующие страницы все по адресам вида perlforumview.cgi?page=2 и т.п.
Архивные сообщения в выбираемом месяце выводятся по схеме типа perlarchive.cgi?data=2006-12, perlarchive.cgi?data=2006-11, perlarchive.cgi?data=2006-10 - то есть для каждого месяца свой адрес.
Комментарии к сообщениям в текущем месяце и в архивных месяцах выводятся по адресам типа comment.cgi?data=2006-11&tid=123 и т.п.
Есть желание открыть хотя бы архив форума с сообщениями, можно без комментариев к этим сообщения.
Что не радует дополнительно.
Если скрипты форума лежат в папке /cgi-bin/forum/ , то часть других скриптов файла лежат в корне папки /cgi-bin/
Если открывать папку /cgi-bin/, то нужно перечислить все эти скрипты для запрета к индексации, то есть любой чел. посмотрит список .cgi-скриптов, что есть на сайте. Правда, некоторые из них работают только по запросам через кнопки (метод POST) и по этому, наверное, их можно там не перечислять?
И еще проблема-это адреса самих .cgi-скриптов на форуме. Правильно ли я понимаю, что придется делать очень длинный robots.txt, который постоянно пополнять, где последовательно запрещать запросы вида:
perlarchive.cgi?data=2006-10&
perlarchive.cgi?data=2006-11&
perlarchive.cgi?data=2006-12&
perlarchive.cgi?data=2007-01&
чтобы запретить индексацию сообщений, отсортированных определенным образом (адреса типа perlarchive.cgi?data=2006-12&sort=a; perlarchive.cgi?data=2006-12&sort=b; perlarchive.cgi?data=2006-12&sort=c)
и при этом чтобы разрешить индексацию только титульных разделов, то все эти сообщения полностью (без сортировок)
pfarchive.cgi?data=2006-10
pfarchive.cgi?data=2006-11
pfarchive.cgi?data=2006-12
pfarchive.cgi?data=2007-01
Третий вопрос: правильно ли я понимаю, что
Disallow: /cgi-bin/script.cgi?page=
запрещает индексацию всех страниц с адресами типа /cgi-bin/script.cgi?page=1, /cgi-bin/script.cgi?page=2, /cgi-bin/script.cgi?page=3 ?
Я тоже сильно сомневаюсь, что зону прикроют. Хотя я так и не понял, возобновили там регистрацию с согласия ICANN или без?
Но поясню суть позиции.
У этой проблемы есть обратная сторона, которую описал частично AlexLee. К этой зоне можно относиться хорошо до того момента, пока не появляется клон существующего и известного проекта в RU. В такой ситуации девальвируются инвестиции текущего владельца сайта в RU из-за клона в SU. Я знаю такой проект, поэтому и возникает негативная реакция. В остальном существование .SU "глубоко параллельно" и даже прикольно; нормальным проектам - флаг в руки.
На фоне возможного появления русскоязычных доменов проблемы из-за клонов в SU - это детский лепет по сравнению с тем, что произойдет из-за этого. Вот есть проект dostavka.ru (к примеру, я к нему отношения никакого не имею) и появляется потом проект доставка.ру, владелец которого никак с первым не связан и, по сути, использует его бренд для развития своего бизнеса.
Вопрос: что делать и как себя в такой ситуации продвигать проекту dostavka.ru? Будут ли частично девальвированы инвестиции в этот проект? Как PR'ить проект и продвигать его, если что dostavka.ru, что доставка.ру звучат на слух совершенно одинаково?
Вот в таких нюансах все дело при появлении новых доменных зон.
Люди, которые мне ставят "-" в репу. Я лично согласен вот с этим мнением.
А проблема такая возникла сейчас потому, что некоторые товарищи, несмотря на протесты других товарищей, восстановили регистрацию доменов в зоне, в которой эта регистрация уже была приостановлена. С них и надо спрашивать.
Я за закрытие зоны .SU!
Куда писать мне, чтобы ее закрыли, а домены там больше не продлевались? :)
Добавлю еще вопрос о красивых номерах.
У Аллоинкогнито и Матрикса есть возможность выбрать более-менее красивый номер из имеющихся. А где еще можно купить красивый номер и можно ли "прийти" к такому оператору "со своим" номером?
И номера, стандартно начинающиеся с 648- как-то не очень прельщают.
cells.ru - впечатления не произвел, нет там ничего дельного по-моему. Жаль.
Мегафон для бизнес-целей и пользовать его для курьеров(!) многие советуют. Но если говорить о номере для контактов, который будет висеть на сайте, то не понял, что там будет дальше (после НГ) с прямыми городскими и не будет ли проблем.
Спасибо за инфу по "базе". Она очень давно и подробно обсуждается на ixbt. Поисковики по поводу сабжевого вопроса направили меня туда сначала. Как я понял, у нее единственное преимущество пока-это низкие тарифы(если они еще остались).
ОК. Поищу по форуму. Хотя комменты здесь еще интересны.
Еще одна студия, публикующая запросы - http://www.promium.ru/projects/
Некоторые пробивались.
Да понятно, что постепенно все должно раскрутиться, но хочется быстрее. Сектор специфический, знающих людей не так много, поэтому все не так просто. Вот если бы форум о PHP или хостинге там был.
Zonk, 18%?
Я рассчитывал на 5% да и то стремаюсь, что это слишком много. Имею ввиду Москву.
Калинин, пару лет назад, когда я только начинал выяснять, как работают ИМы, общался с создателем wobbler.ru Его можно встретить на hostforum.ru, сайт указан у него в подписи.
