речь не шла о продаже, а конкретном 404.
если хост платный, то можно потребовать .htaccess, это можно сказать стандарт у них.
to Valery1: что значит чистят? выясни почему. с хостерами как правило можно договориться, они многое делают в индивидуальном порядке, по крайней мере из личного опыта.
роботс.тхт является стандартом, но не для сайто-стоения, а для роботов, а точнее их поведения. и регламентирован в инструкциях по их созданию. своего рода культура программирования.
в этих же регламентах сказано, что при отсутствии обсуждаемого файл, робот должен вести себя обычным образом, т.е. жрать можно все что найдешь.
эти регламенты как правило находятся в учебниках по перлу и пхп. прочтя их, можно сделать выводы, нужен он в вашем случае, или нет.
некоторые из них (роботов) ими пренебрегают, но это офф-топик...
вах, баюсъ баюсъ... 😂
хе, очередная загадка гугля...
откуда развед данные???
О!!! ☝
так, офф-топик:
...Хороший знакомый Ларри и Сергея, основатель Yahoo!, Дэвид Фило, дал совет построить полноценный портал, собственный дот-ком; только после этого он был согласен вести разговоры о серьезном сотрудничестве, инвестициях...
http://ulcer.by.ru/articles/google_inside.html
с такими ссылками, всплывут, не беспокойся... ;)
ты хочешь сказать, что он динамику прожевал лучше чем статику???
можешь привести логи со статического сайта?
колись уже, раз начал...
