¿Windows? ¿OSX? El QuickTime player de windows no aplica una corrección de gamma a 2.2 cuando lee H.264. Al menos con la antigua versión 7. Pero lo que suele suceder es justo lo contrario a lo que te pasa a ti. Es exclusivamente de QuickTime al reproducir H264 y se visualiza más claro. Con otros reproductores, como VLC el codec lee el valor gamma del .mov correctamente.
Sobre la exportación en .mov desde Nuke, mi recomendación es que evites renderizar desde una aplicación de composición a un formato encapsulado. Si la composición es muy compleja y/o con una linea de tiempo larga, es muy posible agotar la memoria con el proceso y terminar con error. Y si además de encapsulado el proceso conlleva compresión, mayor carga para el procesador y aumentará considerablmente el tiempo de render por frame.
Lo aconsejable es renderizar en frames, (Nuke trabaja perfectamente con .exr), y encapsular/codificar la secuencia de frames en un soft de enconding (Apple Compressor, Adobe Media Encoder...). O en su defecto, editores de video lineal (VirtuaDub, VLC, Quicktime...).
En cuanto al error que te da Nuke al renderizar en .mov, ¿qué nombre de archivo tiene?