Así es.
Yendo a la practica. Si bien el control de que afecte o no, al especular o al diffuse, -que es esto la opción cuando sae trata de una luz- no es válido, ya que la fuente de luz puede afectar tanto al diffuse como al specular, pero nunca al ambient, ya que como has visto, la propiedad ambient en mental, es la cara opuesta a la que le recibe la luz. Luego no tiene sentido que una luz tenga una opcion para que afecte o no, al ambient. Se trata de una propiedad de control del acabado.
Para que nos entendamos. El ambient podria considerarse como la propiedad luminosidad, pero que solo afecta al lado que no recibe luz y de un modo más sutil, en el cual el diffuse suele prevalecer. No es una propiedad que se la de una fuente de luz, sino una propiedad propia del material. No tiene sentido que se pueda controlar desde la luz.
En otras palabras, el diffuse si lo subes a R255 G255 B255, sino hay luz alguna, o ninguna luz impacta en el objeto, este saldrá negro. En cambio parametros como ambient o luminosidad sin ninguna luz, si "pintaran" el objeto en una escena negra. Sin matiz alguno evidentemente, ya que para esto se encarga el canal diffuse de calculo phong, incluso del gouraud.
Saludos,
Unaided