[HOW] Как получить список всех ВНЕШНИХ битых ссылок?

12
M
На сайте с 02.06.2010
Offline
42
2399

http://www.enerprom.ru В августе запустили переделанный сайт с новой структурой и ссылками Соотвественно, все внешние ссылки, которые шли на все страницы кроме главной побились.

ТИЦ упал с 200 до 120.

Думаю, редиректить их списком на главную.

Но можно ли в автоматическом режиме получить список всех битых ВНЕШНИХ ссылок?

R
На сайте с 08.05.2008
Offline
223
#1

Ну так в чем проблема - найдите все внешние ссылки на свой сайт, спарсите на какие страницы они ведут.

Получите список всех страниц, на которые стоят ссылки. И их прогоните на код ответа сервера.

Самая сложность в получении списка страниц с внешними ссылками. Solomono в помощь.

Тема по продвижению сайтов. От 30 000 р. со ссылочным и копирайтингом!. (/ru/forum/801720) Темка по аудитам и консультациям. Стоимость аудита 9 000 рублей. (/ru/forum/622569) skype rastijko
TEXHuK
На сайте с 25.12.2006
Offline
80
#2

Выгрузка внешних ссылок в Вебмастер.Яндекс и пакетная пробивка на отклик.

LEOnidUKG
На сайте с 25.11.2006
Offline
1559
#3

404 ошибку направьте на главную страницу. И сразу всё решиться автоматом.

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )
M
На сайте с 02.06.2010
Offline
42
#4

1. Страницы с внешними ссылками можно получить из панелей вебмастеров

http://webmaster.yandex.ru

https://www.google.com/webmasters

Вот список ссылающихся страниц, экспортированный из панели Google Webmasters Panel.

спарсите на какие страницы они ведут.
Получите список всех страниц, на которые стоят ссылки. И их прогоните на код ответа сервера.

Ни разу с парсерами не работал. Каким именно парсером это лучше сделать?

И чем прогнать код ответа сервера?

2. Пишут, что если в .htaccess много правил редиректов - то сайт будет тормозить. А у меня внешних ссылок будет много. Как с этим?

3.

404 ошибку направьте на главную страницу. И сразу всё решиться автоматом.

Предлагаете прописать редирект 301? Я искал про это - но так и не уверен хорошо это или плохо. Вот даже пишут:

Если нет ошибки 404 то ПС обращаясь к не несуществующей странице считает, что страница существует.
Далее продолжает держать ее в индексе. Далее ПС робот анализатор время от времени смотрит - ага на сайте куча страниц с абсолютно одинаковым контентом (редирект для него не с играет роли так как сам контент запишеться по ошибочному адресу, а не по адресу куда с редиректит) и начинает сайт ранжировать существенно ниже. А иногда и бан за это получить можно.

4.

Выгрузка внешних ссылок в Вебмастер.Яндекс и пакетная пробивка на отклик.

По данным "Вебмастер Яндекс" получаю какие то неадекватные ссылающиеся сайты и внешние ссылки:

Ссылающихся сайтов: 488, внешних ссылок (приблизительно): 1836

Когда открываю "Все с сайта" например:

Вижу такое:

Но таких ссылок фактически нет не было и не могло быть! Откуда это взялось?

5. Может быть сделать 404-страницу копией главной? Будут ли эти внешние ссылки передавать вес на нее - а она в свою очередь будете передавать вес на другие страницы (разделы каталога)?

6. Странно, почему нет какого-нибудь автоматизированного решения для этого? Или хотя бы статьи хорошей. Ведь часто же возникает проблема потери внешних ссылок при переделке сайтов.

L
На сайте с 07.12.2007
Offline
351
#5
maxirk:
что если в .htaccess много правил редиректов - то сайт будет тормозить. А у меня внешних ссылок будет много. Как с этим?

Сделайте редиректы в модулях несуществующих страниц. Куда внешняя ссылка ведёт - делаете папку, имя файла.php/.html и в нём - Редирект.

Можно в странице-обработчике ошибок "404 Not found" сделать обработку Редиректов для битых "внешек".

maxirk:
Предлагаете прописать редирект 301? ... и не уверен хорошо это или плохо.

301 редирект - самое оно для этого случая. Отдаёте код 301 и новый адрес - ссылка засчитывается на новую страницу.

При Редиректе, старой страницы в индексе ПС не будет - вы же её текст не отдаёте. Так бы и копии старых сайтов с Редиректами на новый домен в индексе болтались.

maxirk:
Но таких ссылок фактически нет не было и не могло быть! Откуда это взялось?

Не верите в естественные ссылки?

Распарсите логи на предмет кода ответа 404 - выявите по каким битым ссылкам на Вас реально переходят и с каких сайтов.

maxirk:
Может быть сделать 404-страницу копией главной? Будут ли эти внешние ссылки передавать вес на нее - а она в свою очередь будете передавать вес на другие страницы (разделы каталога)?

Делают так, ПС склеят все битые УРЛ на морду сайта. Имхо - не очень хорошо, тк конкуренты млгут устроить Вам многомордие - поставить 1000 кривых ссылок, потом снять и поставить ещё 1000. И будет у вас в индексе 2000 морд, и если ссылки периодически менять - морды не склеятся.

L
На сайте с 24.04.2009
Offline
24
#6
maxirk:


4.

По данным "Вебмастер Яндекс" получаю какие то неадекватные ссылающиеся сайты и внешние ссылки:
Ссылающихся сайтов: 488, внешних ссылок (приблизительно): 1836

Когда открываю "Все с сайта" например:

Вижу такое:

Но таких ссылок фактически нет не было и не могло быть! Откуда это взялось?

Тоже сегодня заметил, что яшу глючит. Домен берёт от вашего сайта, а ссылку от того кто на вас ссылается. Это глюк. Скорее всего временный.

Можете просто вместо своего домена подставить везде домен этого форума и будет счастье.

Медицинский портал (http://lamaportal.ru) без бирж, но с возможностью размещения рекламы
M
На сайте с 02.06.2010
Offline
42
#7

1. Вот история ТИЦ

Новый сайт был запущен 30.07 - ТИЦ упал на 40 (а не на 80:))

2.

404 ошибку направьте на главную страницу. И сразу всё решиться автоматом.

Т.е. фактически редиректить будет главная 404 страница. Тогда каким образом вес внешних битых ссылок будет передаваться?

3.

Сделайте редиректы в модулях несуществующих страниц. Куда внешняя ссылка ведёт - делаете папку, имя файла.php/.html и в нём - Редирект.

Т.е. вы предлагаете фактически создать страницы что бы они были доступны по этим ссылкам, и в их модулях создать правила? Трудоемко очень, если их много будет. А если немного, то смысла в этом нет.

4.


Можно в странице-обработчике ошибок "404 Not found" сделать обработку Редиректов для битых "внешек".

Это я непонял вообще. Какова будет логика этого обработчика?

5.

Может быть сделать 404-страницу копией главной? Будут ли эти внешние ссылки передавать вес на нее - а она в свою очередь будете передавать вес на другие страницы (разделы каталога)?
Делают так, ПС склеят все битые УРЛ на морду сайта. Имхо - не очень хорошо, тк конкуренты млгут устроить Вам многомордие - поставить 1000 кривых ссылок, потом снять и поставить ещё 1000. И будет у вас в индексе 2000 морд, и если ссылки периодически менять - морды не склеятся.

Т.е. если 404-дубль главной, то их количество = количеству битых внешних ссылок?

Очень мало вероятно, что конкуренты будут изращаться с установкой 1000 битых ссылок на нас. Ведь все эти 1000 еще и должны проиндексироваться. Покупать что ли будут? Вряд ли. Так что если нормально произойдет склейка, то это самый простой вариант.

6.

Тоже сегодня заметил, что яшу глючит. Домен берёт от вашего сайта, а ссылку от того кто на вас ссылается. Это глюк. Скорее всего временный.

Сегодня тоже самое. Ссылки-то проиндексированы! И т.е. влияют на ранжирование! И мне кажется могут долго держаться. Мистика какая-то как это получилось, все таки интересно.

7. Сейчас такая задача:

Есть список ссылающихся сайтов

Нужно спарсить все страницы по списку на предмет ссылок на enerprom.ru/*

При этом:

* ссылки не должны иметь атрибут nofollow,

* страница не должна иметь <meta name="robots" content="nofollow" />

* ссылки не должны быть на главную

Я не знаю как это сделать и готов заплатить тому кто сделает. Сколько? Предлагайте.

После того, как я получу этот список будем думать дальше, что делать..

Drums
На сайте с 13.02.2011
Offline
81
#8
maxirk:
Но можно ли в автоматическом режиме получить список всех битых ВНЕШНИХ ссылок?

Есть десктопная прога, в аккурат для проверки "битости" ссылок. Качал тут - http://home.snafu.de/tilman/xenulink.html#Download В зависимости от ширины канала установишь кол-во потоков, в конце парсинга прога выдает отчеты, их можно сохранить и работать по ним в спокойной обстановке.

Оппс, не туда понесло! Я сразу подумал про внешние исходящие. Тыщщи извинений.

Шустрые и стабильные VDS на SSD дисках (http://articleland.ru/get/host.php) за 3.49/мес
M
На сайте с 02.06.2010
Offline
42
#9

Да я тоже думал, что XENU умеет это делать.

Мне бесплатно помогли на другом форуме с помощью программы Content Downloader – универсальный парсер контента для создания сайтов и интернет-магазинов | SBFactory – парсер контента, программа для наполнения интернет магазинов

Теперь у меня есть список ВНЕШНИХ битых ссылок. Пока не настроил редиректы.

Вообще можно нормальную статью написать про это дело. Напишите кто-нибудь - будет популярна :)

d4k
На сайте с 02.03.2010
Offline
133
d4k
#10
maxirk:

7. Сейчас такая задача:
Есть список ссылающихся сайтов

Нужно спарсить все страницы по списку на предмет ссылок на enerprom.ru/*

При этом:
* ссылки не должны иметь атрибут nofollow,
* страница не должна иметь <meta name="robots" content="nofollow" />
* ссылки не должны быть на главную

Я не знаю как это сделать и готов заплатить тому кто сделает. Сколько? Предлагайте.

После того, как я получу этот список будем думать дальше, что делать..

Зарегистрируйтесь на lincdiagnosis.com (free) и снимайте беки, анкоры и т.д. - удобно) а дальше, разберетесь ;) Можно выбрать как по одной странице, так и весь домен.

Продвижение сайтов в Одессе (http://seotop.in.ua/)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий