Новый отжыг в выдаче

Да ну да...

А Яндексу, Гугле и прочим броузерам в моем лице, пофех всё, что вне рамок протокола HTTP.

Что в куда и как понаструячивали лохоодмины и кривопрогеры - их личшые сложности.

Ну раз такой вумный, сунь меня, лоха сохатого, носом в RFC описывающем протокол HTTP...

Если знаниеф не хватает, так хоть бы упертость свою не тапорщил перед всем частным людом.

Это, вон, гамадрил любит в зоопарке демонстрирует...

di_max, ты идиот, или не понимаешь, о чем топик? Хотя, второе говорит о первом... Срыгни в апдейты.

//0FFF

Во дела! За столько лет - это для тебя новость? Старешь, братэлло...😂

Не-е, не пойду. Ты теперь и там тошь обитаешь.:)

По сабжу: с таким таймингом по нижней ссылке отдавать 404 ответ... Как на такой таймаут среагировал бот?

Ты уверен, на 500%, что сцылок кривых http://sushi-lover.ru/shop - нету на сайтиге?!

Ни в инете?

У меня апача на левые запросы типа _http://сайтег/каталог или "каталог/закаталог/пофег_скока_каталогов" (без слеша в конце) лупит 301 куды надо.

- Ы?

И мне, честно говоря, пофег. Бо давно достали кривосцылками...

Как можно чему-то научить тупого флудера? Гуглите виртуальную файловую систему, потом как поймете что это, можете съесть с полки пирожок.

КЭП отаке 😂 Ваш уровень - охмурять познаниями молодых копирайтерш, а не разговоры об обработчиках.

И при чем тут протокол HTTP?😮

Сделай лучше файлик robots_1.txt, запрашивая который по HTTP, получаем его содержимое и содержимое всех файликов, находящихся во вложенном в robots_1.txt каталоге.

А сцылку запость здеся...

Тем самым - усрешь меня ашь по... большэ нэлэзэ.

- Ы?

Так эт вы пытаетеся охмурять HTTP-клинтов обработчеками.

Но результ... плачевный.;)

Ышо раз спрашиваю: - Ну и кто - ССЗБ?

И ещё позапрещать

Disallow: /*.html/

Disallow: /*.php/

Disallow: //

Disallow: /*//

http://www.allave.ru////ocenka-nedvizhimosti.html/

HTTP/1.1 200 OK

У писателей движков и серваков... не было задачи сделать удобно (однозначно) для тупых ПС.

Там много лет глючит. И они уведомлены, но считают это мелочью... как и во многих нормальных конторах. И недавно стали заметны эксперименты молодой шпаны, обходящейся без глюкла старпёров.

Я лучше сольюсь - времени на вас тратить жалко.

Да лан те... Вертайся...

- Мир, друшпа, серп!:)

богоносец, я эти проблемы знаю, не знаю как решить их красиво на уровне сервера :(

А тему пора сводить к выявлению и классификации всех Я.косяков и описанию множества необходимых костылей... и предостережений.