Te refieres a hacer el mapa en RGB o en Grayscale?
Lo más correcto es hacerlos en Grayscale.
Ten en cuenta que los mapas de Specular funcionana en un color space linear, y los mapas de color en un color space sRGB, si tienes los maps de Specular como RGB el software de render no los va a leer de forma adecuada.
En la mayoría de las ocasiones probablemente no notes mucho la diferencia.
Si se nota más la diferencia a la hora de aplicar ajustes a los mapas, el espacio RGB funciona distinto del Grayscale.
Por último, a veces también te conviene trabajar el Specular en RGB, ya que algunos mapas pueden tener el Specular tintado de algún color, especialmente algunos metales, pero bueno, son situaciones puntuales.
La situación ideal en la mayoría de casos es trabajar los Speculares en 16 bits grayScale.