Renderman es eso exactamente, para indicar por donde van los brillos.
Pero no entiendo lo que dices de usarlo en un layer. Los layer son para controlar la visibilidad, la selección y que se reendee o no, no?
Yo lo tengo en un nodo imagen conectado al reflectivity, nada más. ¿Cómo lo pongo como máscara?