Mitchel es mejor que Gaussian sin dudas, ya que este ultimo le mete mucho blur al render, como bien decis, aunque si necesitas bordes bien definidos el mejor es Lanczos.
En cuanto al problema aqui es porque necesita subir el AA, y el theresold, como dijeron todos.