No sé si es el caso que comentas, pero para habitualmente los programas de composición tienen la opción de premultiply alpha. Para ello es obligatorio poner el footage en modo Color+Alpha. Entonces con esta opción activada tienes un rango de negro a blanco para determinar que tonos son parte del alpha y cuales no.
Esta opción también está en las opciones de render de XSI, en el tab active effects. Así te guardará información para tener el control premultiply activo en compositores.
En png desconozco si guarda este tipo de información, aunque lo más probable es que si, ya que soporta canal alpha. Yo suelo sacar siempre en formato .pic.
En el caso de tener una imagen en RGB (sin alpha), siempre puedes sacar un passe White Matte, de un objeto, area, etc... Se compone usando un operador tipo Set Matte. No sé que nombre recibe en el compositor del XSI. Creo que CompositeWithMatte o algo asi. Del mismo modo que si el alpha se guarda junto al RGB, con el matte en un archivo independiente tendrás que usar el premultiply para controlar bordes.