No tienes que enchufar el alpha en el AO.
Tienes el shader con un sprite, verdad?
Pues identico, solo en que en lugar del material (phong, o lo que sea),...metes el AO.
Ya esta, el AO hace su cometido y el Sprite recorta.
Si no quieres hacer un material nuevo, usa un override en el canal surface y conectas ahí el AO,..pero ojo, que los override juegan malas pasadas en Softi 2011!
Por cierto, aconsejo el mib_amb_occlusion,..desde que lo descubrí (en los shaders de Mental Ray) no uso otro.