Lo mejor es que cojas un kit igual al que tienes al ampliar la RAM, si mezclas módulos distintos puedes tener problemas (que no se reconozca la memoria bien, que no haya manera de ajustar bien los timmings y lo típico que suele resultar: pantallazos, cuelgues, etc). Si ese kit tri-channel es igual seguro al que tienes entonces compra ese, además es tener suerte encontrar modelos de hace unos años porque suelen ir cambiándolos.

La gráfica debería ser una mejora importante viniendo de la HD5850 , sobre todo a resoluciones superiores a 1680x1050. No olvides al desinstalar los drivers de la anterior pasar driver sweeper o algo similar, o hacer instalación limpia del S.O. . Intenta instalar los últimos drivers estables (no beta) de la web de AMD en vez de los que vengan con la gráfica, los más actualizados te darán más rendimiento (la serie 7000 va mejorando apreciablemente en muchos títulos con cada driver que sacan) y menos problemas siempre.