Dmitriy_2014

Dmitriy_2014
Рейтинг
370
Регистрация
01.07.2014
Интересы
Веб-технологии
demon155 #:
Что мешает отправить нормальные страницы на переобход роботом?
Так они сами автоматом, разве не переобойдутся, через какое-то время после удаления или они удалятся навсегда?
Artisan #:

$ man man

$ man wget

$ man grep

$ man sh

Вы бы так и сказали:

Что надо:

wget -o log --spider -i links.txt

-i чтобы из файла ссылки взять, но они должны быть списком с каждой новой строки.

--spider чтобы он файлы не скачивал и не сохранял их в виде html страниц.

-o чтобы в файл все сообщения по обойденным ссылкам сохранил в виде лога.

Потом можно посмотреть сколько 404 или 200:

grep 404 log | wc –l

Потом можно посмотреть какие конкретно ссылки с 404:

grep -B 2 404 log

-B чтобы две строки до строки со статусом 404 показались в которой ссылка.

А linkchecker прикольная утилита, но что-то у меня не получилось ей скормить список ссылок из файла.

Наверное, для этих целей лучше curl использовать.

Но, я думал, что есть что-то простое типа: проверьссылки имяфайла
Vladimir #:
У этого сайта есть и меню, и  есть структура сайта, к которой вы не привыкли. Структура которая обеспечивает  максимальный рейтинг для главной и каталогов.

Когда берет злость, начните с изучения  структур сайта, тогда будет понятна одна из основных составляющих 80к.
Я не знаю где вы там меню увидели, там вверху только одна кнопка перехода на главную, ну если это меню со множеством элементов то, ну окей, про какую структуру вы говорите тоже не понятно, если про рубрики, ну то они и как бы и у меня есть и, наверное, у всех. У него еще и великолепный и всем нужный сайдбар абсолютно пустой, да и функций почти ни каких кроме оставить комментарий. Какая у него структура… У меня кстати все всегда в порядке, я просто чуть-чуть недоволен, у меня нету 80К :)
sumpsonb #:

Этот парень был в теме  крипты еще в 2010.

Потратил 10000 BTC (41$) на пиццу.

И что, у него не было еще 41$, чтобы откупить(или намайнить) и холдить? Я думаю у него было даже 50$ или 60$ !!!

Цена подскочила не на следующий день, вообще-то.

Больше жаль челиков, которые реально холдили на жестком диске, флешке. А потом их женам захотелось убраться на столе...

Да что ему, там такой бэкграунд у него – USA оф. гражданство, дом в собственности, дети жена собака, ну авто это у них как у нас телефон у первоклашки, он вроде программистом работал, а это там у них не то что тут у нас, я думаю он как бог смеётся над этим как над фантиками советскими, просто как прикольная история, но надо отдать ему должное он установил курс валюты пусть и виртуальной :) забавно что это были не экономисты, брокеры, финансовые эксперты, ученые и т.п. эти слуги преисподними подъезжают потом, всегда все делают энтузиасты и любители по приколу.
softerra #:
Где вы ямы находите? 21ый век, дороги давно уже идеальные ..
Вы не поверите, у нас тут на мкаде на съезде на симфиропольку, такие колдобины что пипец, и их уже годы никто не делает, и самое смешное они вместо ремонта повесили знак неровности прикиньте знак неровности, Карл, вместо ремонта, а в двух метрах на варшавке целые километры меняют бордюр на бордюр, что-то Собянин не доробатывает или наборот перерабатывает :), кароче есть такие места что пипец, и это Москва, только на рублевке хорошие дороги, но они не для бомжей замкадных :)
Sly32 #:

Тоже мне ошибки))) Ошибки это вот:


Ровно 15 лет назад, 22 мая 2010 года, айтишник из Флориды Ласло Хейниц первым в мире расплатился цифровыми деньгами за реальный товар – он купил две пиццы за 10 тысяч биткойнов. Общая сумма покупки тогда равнялась 41 доллару. Сейчас 10 тысяч битков стоят 1 миллиард и 100 миллионов долларов.

Это то да, я кстати видел недавно где-то заметку про этого парня, с ним вроде все в порядке, если бы у меня такое случилось, то я бы, наверное, как лидер нирваны расстроился :-))))) или сменил бы хобби :)
master32 #:

сами могут не уйти никогда, надо решать 301 и 410 кодами ответов

Нет, они уходят, потехонечку, по чайной ложке в три пять дней, уже пол года прошло, а они мне все пишут про эти 404, я тоже тут ступил, я же думал переиндексируется увидит что статей больше нет 404 и удалит их из индекса, а оказывается это занимает года, а я думал день :-) Новые технологии что тут поделать эра ИИ, удаляем 404 столетиями :)
SeraZwer #:

А что за ошибки? Интересно.

А это очень хороший вопрос, вот вы бы помогли бы мне тоже понять из-за чего это произошло:

  1. 1.      Была удалена рубрика, которая давно не обновлялась, в ней тысяча статей была, и все эти статьи, но нужно понимать, что это давно не обновляемые и забытые новости в два параграфа длинной купленные в 2000-х по 2$ за статью, когда он был по 30 руб., поисковики это заметили и посыпались и до сих пор в веб-мастере куча 404 ошибок, я думаю из-за этого они понижают сайт, но я могу ошибаться.
  2. 2.      Были изменены все заголовки всех статей, имеющихся на сайте, убрано название сайта из title, ну через дефис обычно которое ставиться, чтобы заголовок статьи чистый был в виде только названия статьи, соответственно все статьи, а их тысячи были переиндексированы с новыми заголовками, может из-за этого.
  3. 3.      Ну и так как были изменены заголовки, то и в веб-мастере изменились даты после переиндексации, они стали все новыми 2025 год, т.к. все это было сделано одним днем, то может это не понравилось поисковикам.

Я на кучу ошибок 404 после удаления кучи статей сетую, лучше бы я вообще ничего не делал и не менял, это были ошибки, я лоханулся, но я еще надеюсь, что нужно время и когда ошибки 404 уйдут и добавится новые статьи с ответами 200 в основном, переиндесируется и вернется посещаемость, но честно говоря уже не уверен.
master32 #:

может конечно)
при определенных обстоятельствах, сайт может оффлайн и без интернета работать, с нулевыми пингами)
копать можно вечно, было бы желание и время)

Не ну сайт должен открываться через World Wide Web со всех устройств, а там без идеологии веб-сервера и клиент серверной парадигмы запрос ответ никуда чтобы ты не делал. А так, наверное, текстовый браузер lynx откроет html страницу еще быстрее :-)
Aisamiery #:

С таким подходом вам дорога в JAMstack, там сайт вообще можно размазать по CDN по сути и ограничений никаких не будет по нагрузке и платить можно сущие копейки.

Да, но мне нравится управлять сайтом через WordPress, и база данных нужна, хотя бы похожие статьи кто будет подбирать и другие штуки делать, да даже как мне тут говорили если у меня не настроен nginx на прямую отдачу из кэша, а делается это все равно через движок и apache.module.php там такая скорость что практически ты получаешь ответ от nginx’а как если бы он отдавал сразу html документ, там уже не знаю что и придумать, google page speed insight ругается только на левые скрипты связанные с статистикой и рекламой, все остальное вообще зеленое, он мне как-то на внутренней странице прикиньте где даже реклама есть, но не в первом экране из-за cls, 100-100-100-100 показал. А по сути это и есть JAMstack, заранее переобходится сайт и подготавливаются все страницы в виде кэша в готовом html формате и при заходе еще дополнительно создаются, а когда все готово отдается чистейший html за 1ms :-) nginx’ом. Круче уже быть и не может с учетом оставления WordPress, тем, плагинов, паттернов, возможности по-человечески редактировать, управлять, изменять, улучшать, твикать, изменять код шаблона как тебе захочется.
Всего: 1998