tiras

Рейтинг
44
Регистрация
16.10.2007
SeoProger:
Ну Вы же в первом посте писали, что нужно удалить дубликаты новостей, у которых одинаковый title, вот эти запросы и удаляют дубликаты новостей (оставляя одну новость), у которых полностью одинаковый title, при желании можно сделать удаление новостей у которых одинаковы в заголовке N первых символов

Я просто уточнил) Благодарю за помощь!

SeoProger:
Вам нужно выполнить 2 запроса к базе:

ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX  titleindex  (title) ;

ALTER TABLE dle_post DROP INDEX titleindex;


Эти запросы удалят дубликаты постов по полю title, не забудьте сделать резервную копию таблицы

При этом запросе удалятся только схожие титлы,или новости целиком,содержащие схожее поле титл?Мне необходимо удалить ЦЕЛЫЕ новости,содержащие схожие титлы.Например есть фильм Волкодав,у меня на сайте он в 3-х экземплярах.Как мне сделать удаление так,чтобы из 3-х экземпляров осталась только ОДНА новость?

stifler_x:
Зачем их удалять... закройте от индексации ПС.

Подскажите,как их закрыть от индексации.Хотя лучший вариант - это удаление дублей новостей

Baters-dle:
Можно через поиск!!!

Вы предлагаете 100 к записей поиском удалять? :)

fed:
Попробуйте прописать в .htaccess

RewriteEngine On
RewriteCond %{REQUEST_URI} !^/403.php$
RewriteCond %{HTTP_USER_AGENT} .*Baiduspider.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yeti.*
RewriteRule .* /403.php [F]

Только вот не факт, что поможет.

Я пытаюсь запретить доступ для Slurp и msnbot (грузят сервер), запрет в robots.txt, бан по айпи и как указал выше не помогает.
Может кто подскажет что еще можно сделать чтобы их успокоить.

Мне посоветовали так прописать в htaccess:

SetEnvIfNoCase User-Agent "^Baiduspider" search_bot

SetEnvIfNoCase User-Agent "^BaiduImagespider" search_bot

<Limit GET POST HEAD>

Order Allow,Deny

Allow from all

Deny from env=search_bot

</Limit>

Вроде перестал ходить засра...ец:)

Пробовал пропичывать в роботсе , не помогает! Поэтому и задаю вопрос

ЗахарOFF:
да был вроде на 4dle.ru

Спасибо,нашел :) Вот здесь http://4dle.ru/hacks/1147155493-zapret-na-povtorenie-novostejj.html решение

KosoyRoman:
tiras а трудно что-ли написать малюсенький скрипт и не маяться?
http://www.webarb.com/?p=118
http://ocokin.ru/2008/03/14/karta_sajjta_dlja_datalife_engine.html
http://skliar.com/archives/7

Спасибо за ссылки!🍻

YugForum:
Вопрос первый - а для чего это нужно???
Вопрос второй, а интернет сервисы по созданию карт сайта с расширением html не подходят?

1)Раз ищу - значит нужно

2) Сервисы не подходят (сайт на 20к страниц сервисы не потянут)

YAGR:
спам - это зло
спамить не будем :)

А если по делу:) ?

Всего: 80