Конечно, разрешать.
Посмотри сам - у тебя уже есть 10-15 мегабайт текста (между прочим, это примерно половина этого форума). Благодаря естественной форме общения на форуме, густота ключевых слов будет близкой к желаемой, по крайней мере. Плюс к тому - это же классический толстый сайт. Представь, что страницы твоего форума будут не на первом месте, как ты того хочешь для дорвея, а на 10-20. Так ведь это будут 10-20-е места для нескольких десятков запросов, как минимум, а не первое место для одного или двух.
Тут и думать нечего - разрешать однозначно.
Кто-то буквально пару часов назад интересовался, когда в Яндексе вечер понедельника наступает...
Вообще-то есть OpenSource-проект для поисковиков - MnoGoSearch . Так что можешь посмотреть и даже принять участие, кажется.
Только согласись, что позиции этого движка поиска далеки от аналогичных позиций ведущих поисковиков - того же Яндекса, Google и остальных.
А Вольфу лишь бы подколоть монстра
Как мне это видится... Ну, раскроет тот же Яндекс алгоритм определения релевантности, и что? Кому от этого польза будет?
Ведь речь идет не о построении релевантной страницы как таковой. Речь идет о построении более релевантной страницы по сравнению с другими. Так какой толк от знания алгоритма, если у вас нет самой базы - чтобы имитировать поиск по ней и проверять положение страницы?
Как что? Начальную ссылку, которую робот находит на домене.
Ну, я не регистрировался раньше в Weblist - это то, что я точно помню.
Ты неправ только в одном... Точнее, даже не неправ, просто не знаешь этого - так все и происходит, но глубина прохода по ссылкам обычно ограничена - скажем, не более трех уровней.
Даю адрес - https://searchengines.guru/
Почитай внимательнее - на сайте довольно много статей именно на эту тему.
По поводу индексации динамических страниц - давай подумаем вместе. Каким образом робот вообще может узнать о существовании страницы и захотеть ее проиндексировать? Общеизвестно, что таких способов два - либо ты сам ему запихнешь конкретную страницу (а что мешает вместо html-страницы послать asp, php, cgi-скрипт с конкретными параметрами? Я так и делаю, когда хочу отослать конкретную статью, только что выложенную на сайт), либо он ее найдет по ссылке. Ну? Догадался? Робот вовсе не перебирает все возможные параметры скрипта, он просто идет по ссылке, так или иначе проставленной где-то на сайте. А сервер ему в ответ выдает html - ведь серверные скрипты выполняются на сервере, а клиент получает чистый результат.
