Resposta:
Concordo com você; mas eu vejo três orações. Trocando por glosas, parece que fica mais fácil entender:
(1) Tudo já passou;
(2) Restam somente as lembranças dessa nossa vida (= Dessa nossa vida restam as lembranças)
(3) ... que, apesar de tudo, foi feliz. (= a nossa vida, apesar de tudo, foi feliz. -> que = nossa vida)
Na frase: "Mas tudo já passou, restando somente as lembranças dessa nossa vida que apesar de tudo foram muito felizes". Qual o sujeito da segunda oração? Não seria: Dessa nossa vida? Então, o correto não seria: (...) dessa nossa vida que, apesar de tudo, foi muito feliz.