Unaided, el formato EXR permite grabar una cantidad infinita de canales, que son practicamente como imagenes por separado, excepto que son todas de la misma resolucion.
Apenas he usado Nuke pero me imagino que te dara a elegir que capa sacar.
En cuanto a formatos, ruhimal, para 16bit cualquiera de estos van bien:
pic, png, tga,
y para 32bit:
exr (singular, no multi-canal), tga, tif