Mira el screenshot... te lo puse bien claro:
1. Haz un nuevo layer.
2. Active "Show masks", bajo la pestania Layers.
3. Dale al boton Mask para entrar en el Mask brush.
4. Pinta tu mascara.
5. Pasa a un brush para esculpir y solo funcionara donde tienes pintado la mascara.
Las mascaras en Mudbox son dinamicas, como las de los layers en Photoshop. Si por ejemplo pintas sin mascara, y la pintas luego, siempre puedes editar la mascara sin perder la informacion que hayas hecho desaparecer via masking. (No estoy seguro si en ZBrush funcionan asi tambien.)