Механизм осуществления запроса робота

Даю адрес - https://searchengines.guru/

Почитай внимательнее - на сайте довольно много статей именно на эту тему.

По поводу индексации динамических страниц - давай подумаем вместе. Каким образом робот вообще может узнать о существовании страницы и захотеть ее проиндексировать? Общеизвестно, что таких способов два - либо ты сам ему запихнешь конкретную страницу (а что мешает вместо html-страницы послать asp, php, cgi-скрипт с конкретными параметрами? Я так и делаю, когда хочу отослать конкретную статью, только что выложенную на сайт), либо он ее найдет по ссылке. Ну? Догадался? Робот вовсе не перебирает все возможные параметры скрипта, он просто идет по ссылке, так или иначе проставленной где-то на сайте. А сервер ему в ответ выдает html - ведь серверные скрипты выполняются на сервере, а клиент получает чистый результат.

Спасибо за ответ, но тут возникли вопросы по поводу второго способа:

с моим дилетанским пониманием мне рисуется схемка: "робот находит ссылку на страницу моего сайта - идет по этой ссылке - индексирует эту страницу - при этом выбирает все ссылки с этой страницы на другие - идет дальше по этим ссылкам..."; если я не прав, то, пожалуйста, скажите где. Заранее спасибо.

Ты неправ только в одном... Точнее, даже не неправ, просто не знаешь этого - так все и происходит, но глубина прохода по ссылкам обычно ограничена - скажем, не более трех уровней.

Так-с... Раз уж зашла речь об 3-х уровнях, то возникает вопрос - а что же тогда принимать за точку отсчета?

Как что? Начальную ссылку, которую робот находит на домене.

А где ник Gray?

К слову, можноли изменить ник на этом форуме? Как?

Советую вам параллельно с вашей задачей начать изучать что такое ЧПУ...