Lo de las máscaras es bastante sencillo, por lo menos en combustion, donde yo lo hacía. Pones dos clip, uno encima de otro, en tu caso el final del primer clip y el principio del segundo, y haciendo una máscara, p. ej, circular, se vería el primer clip excepto el sitio donde has hecho la máscara en forma de circulo que se vería la parte correspondiente del segundo clip.
Es como photoshop, dos imágenes. Una que tape a la otra. Pues puedes borrar lo que quieras de la de arriba para que se vea la de abajo. Y lo bueno es que las puedes animar para que se muevan o se hagan más grandes o adopten la forma que tu quieras.
Lo que yo intentaba decirte es que la máscara se vaya haciendo más grande y que vaya descubriendo la parte de abajo que estaria en shaded. Hasta que quede totalmente al descubierto y no se vea nada del primer clip en wireframe
Las puedes hacer en xsi.
En el Fxtree tienes las transiciones en Ops->transitions. Hay pocas comparadas con otros programas, no sé si han colocado más en otras opciones siguiendo algún tipo de clasificacion. En principio tienes el dissolve de toda la vida y 3 más.