Para empezar no usas jamas un jpg, usa tga tif ... pero jpg jamas.
Para crear el alpha desde photoshop marca la selección de lo q quieras y dale al botón de crear alpha, esta donde las capas abajo.
Por lo q dices entiendo que quieres q una textura sea transparente en ciertas partes, así puedes usar 2 texturas una d ellas para restar una parte de la otra, por ejemplo marcando una silueta negra, rollo sombras chinas, en la figura q deseas ver i el fondo blanco, esto lo conectas a la transparencia y la d color al difuso, pero mejor usa una imagen con alpha y conecta el "use alpha" del shader. Hay mas metodos pero para q complicarte la vida.
No se si m he explicado bien ahora xD