Si lo único que quieres es una composición por recorte, es decir sin efectos de blending, yo usaría un operador composite with matte. El mathComposite hace mezcla (overlay,multiply,add, etc..).
Tanto el fondo, el pass RGB de la cara como el passe AO, hazlo por matte.
Cuando llegue a casa te pego una captura con el fxtree
Saludos,
Unaided