Den Regeln der deutschen Sprache von zusammengesetzten Wörtern folgend bleibt eine Gebäudenummer eine Nummer, nämlich die eines Gebäudes. 
Mag sein dass sie zusätzlich wie ein Name verwendet wird, das ändert nichts daran dass dies eine Zahl ist.