No es posible de forma directa. Tan solo lo puedes hacer en post-produccion.
Puedes tener un pase de tu render con un material constant donde se ve la textura de transparencia solamente. (Blanco = visible, negro = invisible, gris = 50% opacity)
Luego usas ese pase como mascara en tu programa de post preferido. (Si usas AfterEffects, lo llaman "track matte". Mira en la ayuda.)