rst, дык, что за сервисы? :) Сказали А...
и адрес сайта
Rul, да я еще не знаю куда брать. В зависимостиот того кто куда.
сгруппировать по схожим символам в начале урла - дубликаты удалить
P.S. <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> — это я не подумав, что только под Яндекс. Тег вполне пойдет. Только и Рамблер зацепит по идее.
Руки еще не дошли создать программный роботс, а то бы там было круто :)
Альтернативный вариант - поставить <body><noindex></noindex></body> на всех остальных страницах.
А по теме robots.txt - не думаю, что проблема для программера написать импорт урлов в некий список, который потом запихнуть в robots
лучше спирт :)
Дык, PR10 по рунету 😂
А фюнерал-дрон-думеры просто курят и скучают :) 😂
Кредлы будут в Москве! http://www.darkside.ru/show/info.phtml?id=1941
+
записываемся на Москву
Вот поэтому ДумерыЪ рулятЪ! ;)
юни, боян :) "мелодический doom-dead" уже играют сто лет :)
