Para hacer lo que necesitas es extremadamente simple.
Basta con utilizas un plano para recoja las sombras, lo que comun mente se denomina shadow catcher.
Le aplicas un material mota utility, y lo pones en modo shadow catches. Al plano en sus opciones de mesh de arnol le dices que no sea opaco. Y ya esta, las sombras te aparecerán en el canal alpha, así que en nuke puedes poner el fondo que te de la gana. Bien sea una fotografía, o un color, o un degradado, o lo que necesites.