Convierte a .mov, avi, o omf el mpg capturadado, en todos los casos, sin compresión, y ten en cuenta siempre el pixel ratio del formato que uses.
No sé que cámara de video tienes, pero es muy probable que debas desentrelzar el video, si solo graba en entrelazado.
Para tareas de keying, rotoscopia, o corrección de color es impensable usar video entrelazado.