Repito, el problema no es de XSI es de Mental Ray, puedes trabajar con 3DLight en XSI y Ptex.
Claro que puedes trabajar con Ptex en Mudbox, pero si despues trabajas con un motor de render que no lo soporta, pues no tiene sentido.
Sigue pasos logicos, modela, haz un layout de uvs y luego pinta, no hace complicarse no crees?
Ademas si tienes un uv layout previo puedes aprovecharte de un monton de ventajas, como bakear procedurales, etc.