Necesitaba excluir de especular a uno objetos de la luz principal de la escena, la cual tiene que tener el especular activado.
Al final lo he hecho duplicando la luz, pero no me quedo conforme ya que pienso que debería tener una simple propiedad de rendering en los objetos para tratar independientemente el specular y el diffuse.
Como bien tienen otras propiedades de Primary y Secondary, Shadow (caster y recive),... etc.