Haz una cosa. Saca 4 null y colocalos justo en la posicion inicial de los objetos. Ahora haz que los nulls sean padres de los objetos. Un null por objeto. Y ahora haz otro null, que será el que animes, y haz que los nulls sean hijos de este nuevo NULL.
Esto ocurre por las posiciones relativas. Cuando animas, los objetos tienen como referencia el 0,0,0 de la escena. Pero cuando son hijos de algo, toman como referencia el centro de ese objeto. Para los "hijos" el 0,0,0 es el centro del objeto que puede estar en el 21,23,5. Por eso se trasladan al hacer la jerarquía