jano

Рейтинг
169
Регистрация
06.07.2011
sslab:
Вот пример, вдруг пригодится :)

<?
class MozComponent
{
private $accessID = 'qqq';
private $secretKey = 'www';
private $colsArr = [ '68719476736', //Domain Authority
'34359738368', //Page Authority
'144115188075855872', //Time last crawled
'16384', //MozRank: URL
];

public function getBatchMetric($urls)
{
$expires = time() + 300;
$stringToSign = $this->accessID."\n".$expires;
$binarySignature = hash_hmac('sha1', $stringToSign, $this->secretKey, true);
$urlSafeSignature = urlencode(base64_encode($binarySignature));
$cols = array_sum($this->colsArr);
$requestUrl = "http://lsapi.seomoz.com/linkscape/url-metrics/?Cols=".$cols."&AccessID=".$this->accessID."&Expires=".$expires."&Signature=".$urlSafeSignature;
$batchedDomains = $urls;
$encodedDomains = json_encode($batchedDomains);
$options = [CURLOPT_RETURNTRANSFER => true, CURLOPT_POSTFIELDS => $encodedDomains];
$ch = curl_init($requestUrl);
curl_setopt_array($ch, $options);
$content = curl_exec($ch);
curl_close($ch);
$contents = json_decode($content);
return $contents;
}
}

Класс! Позже попробую.. ;)

sslab:
Понял вас. Сторонних скриптов не знаю, но если знаете php, то используя API от Moz не составит труда получить необходимые значения - там буквально строк 30 кода.

Большое спасибо! ;)

sslab:
Есть много онлайн сервисов и онлайн панелей, которые выводят всякие пузомерки, в том числе и запрошенные вами. В том числе и та, что в моей подписи (так http://prntscr.com/hqe4d8 или так http://prntscr.com/hqe4oe или так http://prntscr.com/hqe4sl).
Есть расширения для браузера. Названия не помню.
Есть десктопные программы. Названия тоже не помню.

Спасибо за ответ. Сторонних приложений куча, которые выводят PA, DA. Мне же нужен сам скрипт, который бы выводил у меня в таблице актуальные параметры.

Не будет же пользователь вбивать мои сайты у тебя в софте. :)

iworkshop:
ХЗ что у вас за сервер, если его запрос к 1000 страниц валит.

Ставьте модули кеширования для WP. Их много, есть разные комбинации, в сети масса статей о установке и настройке.
Или пробуйте crawl-delay решить проблему(хотя он и работает через одно известное место).

Гугл не один индексирует, помимо его, туева куча ещё хрен пойми чего, что индексирует сайты. Сервер достаточно мошный 32 гига оперативы, 8 ядер проц. На сервере всего 3 сайта.

Поставил Fast Cache думаю исправится обстановка, один раз бот пройдётся любой и страницы в кэше.

---------- Post added 19-12-2017 at 10:54 ----------

'[umka:
;15394814']Рано или поздно поисковик вернётся (и, возможно, не один), чтобы переиндексировать эти страницы.
Нужно оптимизировать поиск по сайту, чтобы

Думаю кэш решит вопрос.

miketomlin:
Закрывайте от индексации. По /?s= вроде можно. На наших сайтах поисковые запросы обычно имеют адреса /search/..., а в роботс написано просто «Disallow: /search/».

Нужно как раз наоборот что бы эти страницы попали в выдачу, когда бот их индексирует - сервер просто ложится. :(

Скорее всего косяк был из-за того, что бэкап автоматически запускался и места тупо не хватало и процесс застопорился.

Andreyka:
Используйте rsync, он поддерживает "докачку"
arround:
+1 за rsync, но хочу заметить, что если инфы много, то лучше всего запускать в screen или tmux

Спасибо. ерунда какая-то.

rsync работало 3-ое суток, закачало примерно 70% контента и процесс встал. Копирование не идёт дальше. Места на диске предостаточно.

Решил запустить в 10 потоков.

Команды ввожу такие:

screen -S copy1

далее rsync -zavP /home/admin/web/copy1/ root@my.server.ip:/home/admin/copy1/

и всё по аналогии.

Решил через час посмотреть как копируется контент: screen -r pidid

Процесс опять встал, ничего не копируется.

Посмотрел места на диске: df -h

выводит, что занято 3T из 4t.

Но как так может быть, ведь на прошлом сервере было вообще 2tb места. Как контент может занимать больше места, откуда он копируется? Почему rsync не отрабатывает до конца задачу?

Оптимизайка:
Так можно. Подготавливаться архив не будет, т.е. дополнительного места на диске не потребуется - создается и распаковывается налету.

Что-то не получается. Пишет: Ncat: You must specify a host to connect to. QUITTING.

ivtrans:
Привет! Используйте rsync

Спасибо!

Как я понимаю команда будет такой: rsync -zavP user@192.168.1.1:/backup /backup/file1/ - в момент копирования ничего страшного, если сайты будут работать? К примеру где-то будет идти парсинг контента.

---------- Post added 25-10-2017 at 21:32 ----------

Оптимизайка:
На машине назначения:

nc -l -p 60000 > file

На машине источнике:

nc -q 0 example.com 60000 < file

Спасибо, попробую через resync вроде как шустро тоже должно работать.

---------- Post added 25-10-2017 at 21:45 ----------

Оптимизайка:
На машине назначения:

nc -l -p 60000 > file

На машине источнике:

nc -q 0 example.com 60000 < file

os: centos

сервер источник: 192.168.1.1

сервер куда скопируется инфа: 192.168.5.5

папка которую нужно скопировать со всеми подпапками /home/admin/web/

папка на новом сервере куда нужно скопировать /home/backup/

Если не сложно напиши пожалуйста какие будут на том и другом сервере. Как я понимаю через nc будет всех шустрее копировать.

Как я понял - если вбивать такие команды, то сначала будет подготавливаться архив, а места для этого у меня нет.

nc -l -p 3333 | tar xv (выполняется на приёмной стороне)

tar cv * | nc -q 0 ip.адрес.приёмной.стороны 3333 (выполняется на передающей стороне)

Кому нужно, нашёл много готовых решений здесь: https://codepen.io/search/pens?q=+show+more&limit=all&type=type-pens

Всего: 424