Именно от блоков ссылок от адсенса и случилась такая фигня. Получается много кликов по этим блокам. Человек кликает и попадает не туда куда нужно, появляются отказы. Вот эти отказы и повлияли на сайт с точки зрения яндекса. Другой причины не вижу, так как у всех у кого были такие блоки получили понижение. Но самое странное то, что задело только рекламу от гугла.