Pues que si iluminas con un HDRI todas las "fuentes de luz" de la imagen estan en el infinito, no a una distancia determinada del objeto.
Lo que tu dices de los architectural material es el fresnel, eso no tiene nada que ver con lo que estoy hablando. Muchos materiales no producen un reflejo perfecto de aquello que estan reflejando (como un espejo), sino que producen reflejos difusos. Estos reflejos difusos se veran mas o menos "desenfocados" en funcion de la distancia a la que se encuentre el objecto reflejado, si el objeto esta muy cercano a la superficie reflectante el reflejo estara mas definido. En cambio, si usas simplemente un HDRI todo esta a la misma distancia, en el infinito, por lo que estas diferencias (que ayudan enormemente a identificar de que tipo de material esta hecho el objeto y dan mucho realismo) no existiran, ya que todo estara igualmente "enfocado" o "desenfocado".
Y las escenas de las que hablo de Harry Potter son todas aquellas en las que aparece la serpiente Nagini. Aparece reptando por el suelo, pasando cerca de puertas y ademas son todo planos de interiores (donde aproximar la escena con una esfera en el infinito es demasiado aproximar). Asi que se repoyecta el HDRI en una geometria no muy compleja que imita la forma de la habitacion y se hace que la serpiente en lugar de reflejar esa "esfera en el infinito" refleje eso. Lo que comentaba de bakear la escena en un point cloud es solo una anecdota, simplemente hace que el calcular las reflexiones sea mucho mas rapido, y ya se sabe que prman no es el mejor amigo del raytracing puro y duro.
Asi que si, puedes reproyectar tu HDRI en una geometria, no es especialmente complicado y se puede ganar mucho realismo.