[HOW] Как получить список всех ВНЕШНИХ битых ссылок?

Ну так в чем проблема - найдите все внешние ссылки на свой сайт, спарсите на какие страницы они ведут.

Получите список всех страниц, на которые стоят ссылки. И их прогоните на код ответа сервера.

Самая сложность в получении списка страниц с внешними ссылками. Solomono в помощь.

Выгрузка внешних ссылок в Вебмастер.Яндекс и пакетная пробивка на отклик.

404 ошибку направьте на главную страницу. И сразу всё решиться автоматом.

1. Страницы с внешними ссылками можно получить из панелей вебмастеров

http://webmaster.yandex.ru

https://www.google.com/webmasters

Вот список ссылающихся страниц, экспортированный из панели Google Webmasters Panel.

Ни разу с парсерами не работал. Каким именно парсером это лучше сделать?

И чем прогнать код ответа сервера?

2. Пишут, что если в .htaccess много правил редиректов - то сайт будет тормозить. А у меня внешних ссылок будет много. Как с этим?

3.

Предлагаете прописать редирект 301? Я искал про это - но так и не уверен хорошо это или плохо. Вот даже пишут:

4.

По данным "Вебмастер Яндекс" получаю какие то неадекватные ссылающиеся сайты и внешние ссылки:

Ссылающихся сайтов: 488, внешних ссылок (приблизительно): 1836

Когда открываю "Все с сайта" например:

Вижу такое:

Но таких ссылок фактически нет не было и не могло быть! Откуда это взялось?

5. Может быть сделать 404-страницу копией главной? Будут ли эти внешние ссылки передавать вес на нее - а она в свою очередь будете передавать вес на другие страницы (разделы каталога)?

6. Странно, почему нет какого-нибудь автоматизированного решения для этого? Или хотя бы статьи хорошей. Ведь часто же возникает проблема потери внешних ссылок при переделке сайтов.

Сделайте редиректы в модулях несуществующих страниц. Куда внешняя ссылка ведёт - делаете папку, имя файла.php/.html и в нём - Редирект.

Можно в странице-обработчике ошибок "404 Not found" сделать обработку Редиректов для битых "внешек".

301 редирект - самое оно для этого случая. Отдаёте код 301 и новый адрес - ссылка засчитывается на новую страницу.

При Редиректе, старой страницы в индексе ПС не будет - вы же её текст не отдаёте. Так бы и копии старых сайтов с Редиректами на новый домен в индексе болтались.

Не верите в естественные ссылки?

Распарсите логи на предмет кода ответа 404 - выявите по каким битым ссылкам на Вас реально переходят и с каких сайтов.

Делают так, ПС склеят все битые УРЛ на морду сайта. Имхо - не очень хорошо, тк конкуренты млгут устроить Вам многомордие - поставить 1000 кривых ссылок, потом снять и поставить ещё 1000. И будет у вас в индексе 2000 морд, и если ссылки периодически менять - морды не склеятся.

maxirk:


4.

По данным "Вебмастер Яндекс" получаю какие то неадекватные ссылающиеся сайты и внешние ссылки:
Ссылающихся сайтов: 488, внешних ссылок (приблизительно): 1836

Когда открываю "Все с сайта" например:

Вижу такое:

Но таких ссылок фактически нет не было и не могло быть! Откуда это взялось?

Тоже сегодня заметил, что яшу глючит. Домен берёт от вашего сайта, а ссылку от того кто на вас ссылается. Это глюк. Скорее всего временный.

Можете просто вместо своего домена подставить везде домен этого форума и будет счастье.

1. Вот история ТИЦ

Новый сайт был запущен 30.07 - ТИЦ упал на 40 (а не на 80:))

2.

Т.е. фактически редиректить будет главная 404 страница. Тогда каким образом вес внешних битых ссылок будет передаваться?

3.

Т.е. вы предлагаете фактически создать страницы что бы они были доступны по этим ссылкам, и в их модулях создать правила? Трудоемко очень, если их много будет. А если немного, то смысла в этом нет.

4.

Это я непонял вообще. Какова будет логика этого обработчика?

5.

Т.е. если 404-дубль главной, то их количество = количеству битых внешних ссылок?

Очень мало вероятно, что конкуренты будут изращаться с установкой 1000 битых ссылок на нас. Ведь все эти 1000 еще и должны проиндексироваться. Покупать что ли будут? Вряд ли. Так что если нормально произойдет склейка, то это самый простой вариант.

6.

Сегодня тоже самое. Ссылки-то проиндексированы! И т.е. влияют на ранжирование! И мне кажется могут долго держаться. Мистика какая-то как это получилось, все таки интересно.

7. Сейчас такая задача:

Есть список ссылающихся сайтов

Нужно спарсить все страницы по списку на предмет ссылок на enerprom.ru/*

При этом:

* ссылки не должны иметь атрибут nofollow,

* страница не должна иметь <meta name="robots" content="nofollow" />

* ссылки не должны быть на главную

Я не знаю как это сделать и готов заплатить тому кто сделает. Сколько? Предлагайте.

После того, как я получу этот список будем думать дальше, что делать..

Есть десктопная прога, в аккурат для проверки "битости" ссылок. Качал тут - http://home.snafu.de/tilman/xenulink.html#Download В зависимости от ширины канала установишь кол-во потоков, в конце парсинга прога выдает отчеты, их можно сохранить и работать по ним в спокойной обстановке.

Оппс, не туда понесло! Я сразу подумал про внешние исходящие. Тыщщи извинений.

Да я тоже думал, что XENU умеет это делать.

Мне бесплатно помогли на другом форуме с помощью программы Content Downloader – универсальный парсер контента для создания сайтов и интернет-магазинов | SBFactory – парсер контента, программа для наполнения интернет магазинов

Теперь у меня есть список ВНЕШНИХ битых ссылок. Пока не настроил редиректы.

Вообще можно нормальную статью написать про это дело. Напишите кто-нибудь - будет популярна :)

Зарегистрируйтесь на lincdiagnosis.com (free) и снимайте беки, анкоры и т.д. - удобно) а дальше, разберетесь ;) Можно выбрать как по одной странице, так и весь домен.