Creo que el problema es que no tienes buenos puntos de referencia; para que el tracking funcione tienes que tener como mínimo tres puntos de referencia en un plano (entre mas hayan mejor será el tracking), en este caso sería el piso.
Como se ve en el video el programa toma como referencia las puntas de los objetos que que se encuentran parados en el piso a una diferente altura del mismo, esto ocasiona que al mover la cámara no solo hay que hacer el tracking en X & Y sinó también en Z y ahí esta el problema, al desplazar la cámara se cambia la perpectiva y la distancia entre todos los puntos y además el piso, ocasionando que el programa pierda los puntos de referencia.
Intenta grabar nuevamente el video pero esta vez haz simples marcas en el piso, talvés unos pedazos de papel, y muy importante , si necesitas los objetos parados en el piso en tu video crea una mask oacultandolos del tracking y animala de tal manera que el programa no los tome en cuenta; obviamente los nuevos puntos de referencia tienen que estar visbles todo el tiempo.
Espero que esto ayude!
ahh!! es una buena idea si los nuevos puntos de referencia estan ubicados como una Grid, quiero decir a una distancia similar ej. cada 50 cm en X & Y o algo similar (solo para obtener mejores resultados)