А смысл скармливать неуникальный контент.. ПС засунут ваши пдф в "сопли" или куда подальше, в выдаче никто их не найдёт, так как в выдаче уже будет такой же документ, но он будет считаться уникальным, потому что первый туда попал. Вы можете даже навредить своему сайту в целом, представьте - у вас сейчас сайт на 70-90% (с головы взял!!) уникален, Вы открываете неуник контент - 2000 страниц, общая уник Вашего сайта упадёт сильно!!! Советую подумать над ПФ сайта используя ваши пдф файлы. Ну к примеру посетитель перешёл на страницу сайта и видит кнопку загрузить инструкцию, кликнул и ушёл читать пдф-ник. А если ему этот пдф-ник показать уже в открытом виде, здесь же на странице, он начнёт его изучать не уходя с сайта, поведенческие улучшаться за счёт нахождения посетителя на сайте.
Мда, сам задал, и сам же отвечаю. Но может кому пригодиться такой метод. Этот метод приемлем для небольших проектов с небольшим количеством страниц сайта.
Вообщем формируем два списка:
1) в Screaming Frog SEO Spider сканируем сайт, затем Фильтр по html и экспорт в exsel
2) как советовали выше, из ЯМетрики экспортируем отчёт - страницы входа (я брал за последний месяц).
Дальше открываем наши файлы exsel и копируем из них строки в отдельные текстовые документы, получилось два текстовых документа со списком всех странииц сайта и страниц входа по ЯМетрике.
Дальше наша задача сравнить два текстовых документа и почистить список со страницами сайта.
Тут можно воспользоваться Total Commander-ом (меню Файл -> Сравнить по содержимому), либо любым софтом для сравнения текстовых файлов по седержимому. Далее всё просто, но муторно. Смотрим сравнения и чистим файл №1.
В итоге получиться файл со страницами, которые были без трафика за определённый период.
Берём их и оптимизируем.
Уважаемый Dredon, я не спросил легко или тяжело, я спросил как это сделать!!! В экселе!??! Легко?? Тогда подскажите, как "легко это сделать", если у меня есть список страниц моего сайта, выгруженный из Screaming Frog количеством строк больше тысячи и есть файл выгруженый из Метрики - страницы входа за определённый период около 300 строк!! Ну и если Вы гуру экселя, то подскажите, как мне сопоставить эти два списка, почистить в них совпадающие строки и оставить в первом только те строки, которых нет во втором списке... Если это легко то не составит труда описать процесс отсеивания страниц сайта, на который не было заходов за определённый период. Премного благодарен за результативный ответ, а ответы "Вам же сказали..", "Google в помощь..." оставте для другого форума.. Спасибо за понимание.
P.S. А по поводу оптимизации не додумывайте, вопрос задан не про оптимизации...
а вот с этого момента поподробнее.. ))---------- Добавлено 16.09.2015 в 09:33 ----------
Мда, вроде не заумная задача, а реализованного готового варианта нет.. Видимо придётся ручками лапатить...
...
или никто такое не делал!? А что вообще думаете по этому поводу, может подскажите подход к оптимизации нетрафиковых страниц с "другой стороны".. Буду рад услышать мнения экспертов..
Спасибо, но не совсем то, ведь если на сайте тысячи страниц, а точек входа пару сотен, то мне нужно идти от обратного - с общего списка страниц сайта исключить страницы входа... Вручную лапатить!? Го-го...
В общем, что выяснил.
С компом всё ок, запустил с другого компа - то же самое.
Подключился через другого провайдера интернета - вуаля!!!! Сканирует!!!
Недавно сменил место жительства, соответсвенно другой интернет - провайдер. Не думал, что 503 ошибку отдаёт сервер провайдера а не сервер хостера (получается так).
По сему вопрос - как разговаривать с провайдером, чтоб он мне открыл "что-то" для seo сканеров?---------- Добавлено 30.07.2015 в 00:07 ----------Такссс, народ. И снова ж....а. Запускаю на скан любой левый сайт (чё в голову раньше не пришло это) - сканирует!!! Так всё таки хостер "краники прикрутил"?? Что скажете?---------- Добавлено 30.07.2015 в 00:27 ----------Мысли вслух:
... проблема не в хостере, ведь с другого провайдера всё рабоет!!
...проблема не в интернет провайдере, ведь скан левых сайтов идёт нормально---------- Добавлено 30.07.2015 в 00:49 ----------РЕШЕНИЕ!!!
Не просто так я начал косо смотреть в сторону интернет провайдера, проблема оказалась в нём!!! Когда я запускал сканер через другого првайдера, мне был выдан другой IP, который не был ни в каких блеклистах!!! Когда я запускаю сканер со своего динамического IP, выданного моим инет-провайдером, хостер блокирует мои запросы так как мой IP находится в BL!!! Просканил на наличие на https://2ip.com.ua/ru/services/ip-service/spam - оказался в 4 блэклистах, Сменил софтом IP - всё заработало!!!
Ругаться бесполезно, так как доморощеных кул-хацкеров хватает, которые ddos-ят в открытую с выданного ip, а потом этот адрес попадает мне...
Буду заказывать внешний ip, тем более мне он понадобиться для удалёнки.
Всем спасибо за помощь и оперативные ответы.
Гуд, уже хоть что-то. А каким образом? Обычным запросом? Не софтиной? Это значит что хостер непричём?!
А есть у кого Xenu или SFrog? Стартоните, идёт у вас или нет!? Мож с компом/с прогой/с провайдером моего интернета что-то....---------- Добавлено 29.07.2015 в 21:26 ----------...хотя Xenu последняя, настройки сбрасывал на ноль...
А комментарии не считаются!?---------- Добавлено 29.07.2015 в 21:08 ----------
Спасибо, попробуем, все проверяемые сайты лежат у этого хостера. Зададим вопрос.
ничё не чистил на изначално проблемном сайте - remontturbin.com.ua
robots как был так и остался.
503, проверил - так как решения пока нет.---------- Добавлено 29.07.2015 в 20:49 ----------ребята, читаем вместе моё сообщение
Все остальные сайты как дополнение к решению.
Сайт http://tenti-karkasi.com.ua намеренно закрыт от индексации, так как сайт молодой, слеплен на скорую руку и не уникальный.
Смотрите robots сайта remontturbin.com.ua !!!! там нет Disallow корня!!!---------- Добавлено 29.07.2015 в 20:52 ----------
Специально убрал Disallow / из robots http://tenti-karkasi.com.ua - не взлетел!!---------- Добавлено 29.07.2015 в 20:55 ----------
А как это определить? Беседа по душам с хостером?
Проги жрать не успевают, так как сразу после старта выдают эрор. В настройках пробовал потоки уменьшать до 1-го, та же беда..
хостинг ukraine.com.ua, сижу на нём более пяти лет, постоянно радует своим развитием, ранее проблем не было. В панели управления хостингом - MySQL -> Медленные запросы - Медленные запросы не обнаружены. Там же нагрузка на web сервер, цитирую:
View Screen Capture" />
Скрины вроде не страшные )
