Indexation rejected by robots

BS
На сайте с 10.06.2002
Offline
1
1274

Есть такая большая проблема - сайт не регистрируется в поисковых машинах (прописывали в соответствующих по тематике рубриках). Сайт all-partners.com , написан на Перле, используется база данных (Firebird), все страницы - динамические. Имеет интерфейс на трех языках (реализовано через templates), язык по умолчанию - английский. Сайт функционирует, все ссылки рабочие.

Страница index.html содержит только заголовок и редирект на скрипт /cgi-bin/main.cgi. Некоторые ссылки с этого скрипта ведут на другие скрипты, некоторые на этот же main.cgi (передают данные через get - по логике работы сайта требуется последовательный выбор). На странице main.cgi есть тэги description и robots. Без выбора языка (передаются одним из параметров get) все возвращаемые страницы имеют английский интерфейс.

Тем не менее роботы сайт не индексируют - проверено на европейских, немецких и русских поисковиках. Очень нужен конкретный совет - в чем проблема.

With respect Alexander Rabtchevich
Dm
На сайте с 11.03.2002
Offline
108
Dm
#1

Первое, что бросается в глаза на главной странице по крайней мере - куча переводов строки в начале сгенеренного файла. Попробуй их убрать, может поможет ;). И конечно плохо, что все ссылки со страницы динамические, да и расширение .cgi

По-моему, хорошо было бы сделать так, чтобы все файлы имели расширение .htm и параметры передавать не как сейчас в get после знака вопроса, а запрашивать различные "имена" файлов из скриптовой директории и обрабатывать эти запросы. Но это требует настройки сервера и изменения движка сайта.

Я за ДСДЛ (/ru/forum/135358)
Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#2

Один совет - небольшая инструкция в htaccess, а именно


DirectoryIndex /cgi-bin/main.cgi

избавит от необходимости использовать редирект в index.html. Очень может быть, что этот редирект игнорируется или приводит к игнорированию всего сайта.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#3

Ещё маленький совет: положи в корень пустой файл

robots.txt. Сейчас его нет и робот, получив редирект (или просто неадекватное стандарту исключений содержание, которое ты по 404 возвращаешь, в детали лень вникать :)) может просто "обидеться".

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий