Complicada situación un render de ese tamaño y con FG. El recurso es fragmentar el render en tiles y juntarlos después, pero con el FG... aún usando el mismo mapa de FG igual tienes diferencias entre tiles.
Mi ordenador va mucho más lento con XSI 6.01 que con la 4.2 que empecé.
Yo tuve una situación similar con un render a 8K. El problema lo tenía en la composición, concretamente al renderizar la composición en Combustión, que ni usando el batch y usando un archivo de intercambio de 16GB el mamón tenía que quedarse sin memoria y petar, que es lo que hacen las aplicaciones en windows.
Con el compositor de XSI podía renderizar a 8K pero no podía llegar a montar la misma composición, porque a la que añadia cuatro operaradores, me petaba por falta de memoria.
Todo esto lo sufrí en un dual xeon 3GHz con 4GB de ram, y Windows XP.
Finalmente saque la composición que tenía montada en Combustión, pero haciendo crop y sacando 4 tiles del 8K.
Para mi el problema es sin duda el s.o. No puede ser que la salida de toda aplicación que se queda sin memoria, sea cerrarse. Primero porque el s.o operativo no ha de permitir que una aplicación se quede sin memoria (mala gestion de la memoria) y segundo porque si se da el caso, ha de tener una salida que permita operar.