Te hace cosas raras porque no haces cortes correctos. UVlayout odia cortes que se solapen, asi que si te encuentras zonas problematicas, es cuestion de hacer mas cortes y simplificarle la vida al programa.
Mira que no te cuesta nada consultar el manual... te lo dice todo respecto a tu duda:
(archivo /www/uvlayout.html en la carpeta del programa)
C/W: cut/weld seam
Backspace: unselect cut edges
Enter: detach shell
D: drop shell into UV space
Pones tu cursor sobre un edge y le das a la tecla C. Las marcas rojas son las que cuentan. Si te pasas con el corte, vas a la zona que sea y con W o Backspace deseleccionas edges que no quieras.
Una vez tienes un corte, le das a Enter para que se separe del resto del modelo. Si no se separa,comprueba tu corte y veras que se te paso por alto algun edge por alguna parte y no es un corte perfecto.
Una vez tienes un corte fuera, puedes ponerte a recortarlo mas, con la idea de que no haya cortes que se solapen. UVlayout odia las UVs solapadas.
Una vez te parece que tu corte es correcto, pones tu cursor por encima y le das a D, que hace "Drop into UV space". Ese corte desparecera del modo Edit y lo veras en el modo de vista de UVs. Una vez esta dentro, lo relajas con tu cursor sobre ese shell y pulsando la hotkey F. Puedes mantenerla pulsada todo lo que quieras hasta que ya no pueda relajarse mas.
Los colorines te indicaran si lo has hecho bien. Verde significa nada de distorsion. Rojo significa que deberias intentar de nuevo (
) porque hay distorsion extrema.. azul significa que hay distorsion pero seguramente casi no lo note el ojo humano.
Una vez tienes al menos un corte, te vas a la vista 3D y con la tecla G puedes ir cambiando entre una serie de texturas internas del programa que te ayudan a ver si hay distorsion en tus cortes o no, aparte de hacer obvio la zona de los seams.
pd: Algun dia cuando me sobre el tiempo hare un videotuto de esto.