Hola erick.
Las ventajas de XSI respecto a Max no te las voy a decir yo, porque entre otras cosas seguro que me censuran.
Libros en español de XSI, yo solo conozco el de Miguel Campos, que es de la versión 2, por lo que queda un tanto atrás, pero si te es más fácil en español, no está demás que te hagas con el, para introducirte, pero tendrás que seguir en inglés, con documentación actual, porque TODA la documentación que existe, está en inglés (y en japones).
Sobre la calidad del render a 8bit: La salida de render, o el framebuffer donde se "dibuja" el render contiene información de 128bit y mayor. En practicamente cualquier software de representación profesional, es así.
Has de saber que es una cuestión de formatos, y es en el momento de guardar el render donde se elimina en mayor o menor medida la información de la salida de render. XSI, tiene soporte ua buena cantidad de formatos, entre ellos .png que soporta hasta 16bit (int), y por supuesto puedes guardar en .openEXR, .tif, .hdr o formatos propios de Mental Images que soportan 32bit float point.
Un apunte. Ya que vienes de Max y haces ese comentario acerca de la calidad de render, 3D Studio Max, tiene más de 20 años desde su primera versión y más de 10 versiones, y sigue con variables de de 8bit en rangos de color.
Por no decir que todos los númericos no soportan operaciones matematicas o formulas, o no soportan valores negativos.