El pase solo de color no es pase diffuse, sino "albedo".

Usando el metodo/truco de Alan Jones:
1. Create un nuevo infinite light, apuntando hacia abajo, intensidad 1 vale. Esta luz solo se usara en el pase ALBEDO.
2. Create un nuevo pass y activalo.
3. Haz un partition de las luces que tengas en la escena que no sean la infinite que usaremos y desactivalas en render.
4. Create un override al Background_Objects_Partition, dale a Add parameters y haz override al input "Bump Map".
5. Selecciona el override, dale a 7 para que aparezca su rendertree y al material-normal input le enchufas un VectorShare. (vector 0,1,0)
6. Haz render!

Ya esta!!