Ничего не понимаю

А теперь объясните мне, может я чего не понимаю, как внешними факторами (особенно ссылочной массой) можно пессимизировать сайт?

По идее никак. Яндекс хотя и крючит периодически, но до идеи пессимизации из-за ссылок, которые идут с внешних источников, пока не дошел. Иначе действительно было бы черти что: все бы ставили ссылки на конкурентов где попало и т.д. Обычно не стоит искать причин в том, что типа ссылок много с Гсайтов и пр. Обычно причина в другом.

Если говорить конкретно по поднятому ТС вопросу: да, такое бывает, бывает нередко. Почему? У Яндекса есть некоторые приоритеты в том, какую страницу выбирать по запросу. Очень часто ситуация выглдяит так: продвигаются одни страницы, а на первых позициях по запросам, которые реально приносят трафик, оказываются другие. Это обычно касается статей, особенно реально уникальных статей.