Форум Сайтостроение Веб-строительство

Индексайция поисковых запросов "?s=my+car" валит сервер, как исправить?

J
На сайте с 06.07.2011
Offline
169
jano
720

Вообщем понадобилось вывести 1000 поисковых запросов для индексации гугл на сайте wordpress.

Указываю ссылки на сайте в таком виде:

http:///domain.com/?s=my+car

http:///domain.com/?s=my+super+car

......

http:///domain.com/?s=my+board

Google начинает индексировать эти поисковые запросы на сайте и к чертям валит весь сайт. Вопрос вот в чём, как вывести эти запросы без нагрузки на сервер. Может скрипт или плагин есть, который сразу же закэширует нужные мне запросы или логическую цепочку как-то поменять для вывода. Что бы он каждый раз всю базу не прогонял в поисках там нужной информации?

M
На сайте с 04.12.2013
Offline
223
miketomlin
#1

Закрывайте от индексации. По /?s= вроде можно. На наших сайтах поисковые запросы обычно имеют адреса /search/..., а в роботс написано просто «Disallow: /search/».

Домены и скрипт для коротких ссылок: https://u75.ru/domains-for-shortcuts
J
На сайте с 06.07.2011
Offline
169
jano
#2
miketomlin:
Закрывайте от индексации. По /?s= вроде можно. На наших сайтах поисковые запросы обычно имеют адреса /search/..., а в роботс написано просто «Disallow: /search/».

Нужно как раз наоборот что бы эти страницы попали в выдачу, когда бот их индексирует - сервер просто ложится. :(

iworkshop
На сайте с 22.12.2008
Offline
195
iworkshop
#3

ХЗ что у вас за сервер, если его запрос к 1000 страниц валит.

Ставьте модули кеширования для WP. Их много, есть разные комбинации, в сети масса статей о установке и настройке.

Или пробуйте crawl-delay решить проблему(хотя он и работает через одно известное место).

XMLRiver - прямая выдача Google и Яндекс через API
большой трафик с Рамблера Биржа ссылок Uniplace (beta) ahrefs.com - инструмент для
[umka]
На сайте с 25.05.2008
Offline
456
[umka]
#4

Рано или поздно поисковик вернётся (и, возможно, не один), чтобы переиндексировать эти страницы.

Нужно оптимизировать поиск по сайту, чтобы

jano:
он каждый раз всю базу не прогонял в поисках там нужной информации
Лог в помощь!
J
На сайте с 06.07.2011
Offline
169
jano
#5
iworkshop:
ХЗ что у вас за сервер, если его запрос к 1000 страниц валит.

Ставьте модули кеширования для WP. Их много, есть разные комбинации, в сети масса статей о установке и настройке.
Или пробуйте crawl-delay решить проблему(хотя он и работает через одно известное место).

Гугл не один индексирует, помимо его, туева куча ещё хрен пойми чего, что индексирует сайты. Сервер достаточно мошный 32 гига оперативы, 8 ядер проц. На сервере всего 3 сайта.

Поставил Fast Cache думаю исправится обстановка, один раз бот пройдётся любой и страницы в кэше.

---------- Post added 19-12-2017 at 10:54 ----------

'[umka:
;15394814']Рано или поздно поисковик вернётся (и, возможно, не один), чтобы переиндексировать эти страницы.
Нужно оптимизировать поиск по сайту, чтобы

Думаю кэш решит вопрос.

Резкое увеличение "исключенных страниц" Посоветуйте Windows 8 Белые Дорвеи или Дорвееподобные

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий