Drango, donde trabaja tenía esos mismos problemas, al principio pensaba era cuestión de aumentar la resolución del modelo o de la textura(ayuda pero no al 100%), sin embargo esa textura con los edges "low poly" que se apreciaban venían de Zbrush al exportar; y no siempre se puede enviar toda la resolución de alta al render. Hicimos pruebas en otros programas como el Cinema4D, y simplemente con arrojar la textura sobre el modelo low poly, se veía igual que en Zbrush. Es como tu dices Drango, en Zbrush si no subdivides bastante el pincel pinta "pixeleado", creo también sucede en Mudbox, no estoy seguro; es como si pintaras en modo "vertex" xD
Hasta que hallé esa opción que te mencioné; resolvió los problemas; por supuesto que antes de aplicarla debes darle " + " smooth al modelo de baja, con un par de veces es suficiente. Al menos así me funcionó a mi.
Haré unas pruebas a ver si me sigue funcionando el método y subo las imágenes al rato; pero estoy casi seguro que el método que te menciono debe funcionarte.