Con diferentes memorias es muy posible que ese SLI no sea posible. Una cosa es un SLI con diferentes cantidades de VRAM (no habría problema) y otra con diferente tipo de VRAM instalada (y diferente controlador).

De todas formas no recuerdo ninguna 8600GT con GDDR2...