El caso que expones compromete el subpixel. Es prácticamente imposible que el recorte de un objeto salga idéntico en negativo al del otro objeto, debido a que el muestreo se basa en el contraste, tanto lumínico como cromático, y cada objeto tiene distinto tono y luminosidad. Nunca entregarán con la precisión que buscas.
Para mi es un error de concepto de composición. Si sabes que la esfera va detrás del cilindro, el passe que contiene la esfera no debe incluir el matte del cilindro.
De todos modos si por algún motivo tienes que sacar ambos passes con un matte superpuesto, puedes solventar o minimizar esa situación controlando el borde del matte. Usualmente los compositores tienen operadores 'matte-control', que permiten expandir/contraer el borde, con control de gamma, blur y algoritmo de muestreo, por ejemplo.