Tratas de sacar FG en passes donde aplicas un constant 0,0,0,0 a algunos objetos? Si es así el FG el resultado del FG no será como esperas, ya que algunos objetos, probablemente cercanos, son negros.
Yo no sé si entiendo bien lo que estás preguntando, pero intuyo una complejidad de composición excesiva.
Yo hace tiempo me complicaba separando objetos por passes. Ahora prefiero no hacerlo así. Lo más simple es tener passes con todos los elementos de la escena y en RGB nada más (desde los beauty, rimlights,.. hasta los FG, normals...), y con ello incluidos los passes que necesites para mattes o en su defecto un idmatte.
Si posteriormente necesitas volver a renderizar un solo objeto, pues lo aislas en un passe, pero el FG lo lanzas en un passe aparte, solo de FG, con todos los objetos. Igualmente, aunque optes por separar elementos en diferentes passes, el FG debe ir en un passe con todos los elementos. ¿El AO no lo sacas en un solo passe con todos los elementos?
Teniendo eso, puedes hacer lo que quieras en composición.