Bueno, el specular como tal no existe en la realidad, lo que existe es la reflexion, y en los shaders modernos no existe el specular como parametro por separado, ya que no es real.
Antiguamente si que habia specular por un lado y reflexion por otro, aun se puede falsear incluso con materiales modernos como architectural shader de mr, pero no es lo mas adecuado.
Dicho esto, las reflexiones deberian ser siempre blancas y si se tienen que tintar dberian de tintarse por la contribucion del entorno, pintarlas es un fake que no deberia de hacerse.
A veces yo lo he hecho en algunos metales como oro o bronce, porque ayuda a sacar el shader mas rapido y ser menos dependiente del entorno, pero no deberia hacerse.
Dicho esto, los mapas speculares deberias ser tratados siempre de forma linea, no sRGB, y siempre en grayscale, para que no se vean afectados por un LUT o cualquier otrac osa y muy importante, no derivarlos del color directamente, ya que si tienes una pared de hormigon, mitad pintada azul y mitad pintada blanca, y derivas de eso el specular, vas a obtener un specular muy brillante en la zona blanca y mucho menos brillante en la zona azul, cuando el material hormigon es el mismo.