Il nucleo originario dell'archivio era composto da quello storico comunale, custodito fin dalla fine dell'Ottocento presso il locale Museo civico.
La raccolta dei documenti si è notevolmente arricchita per il continuo apporto di donatori privati, di enti pubblici e, naturalmente, attraverso i frequenti acquisti fatti dall'Ente.
L'archivio accoglie il fondo pergamenaceo del Comune di Altamura (tra cui il documento più antico è il decreto di confinazione del territorio altamurano emanato da Federico II di Svevia nel 1243), quello della famiglia Sabini e migliaia di documenti cartacei, provenienti da raccolte private o dal mercato antiquario.
Tra i documenti storici che riguardano la città e la storia della Terra di Bari vanno menzionati il Libro Rosso o libro dei privilegi concessi dall'imperatore Carlo V d'Asburgo (1536), le platee dei beni dei monasteri soppressi (XVIII sec.), numerosissimi documenti cartacei di interesse storico locale, diversi spartiti di alcune composizioni del musicista altamurano Saverio Mercadante, tra cui l'Inno a Sant'Irene, molte opere manoscritte di altri musicisti della famiglia Festa.
All'archivio documentario si affiancano anche una importante fototeca storica, che testimonia gli eventi pubblici e privati di Altamura e dei suoi cittadini ed una ricca raccolta di piante topografiche, progetti di edifici pubblici realizzati da alcuni tra i più stimati tecnici altamurani vissuti nel XIX secolo.
Gran parte del materiale, però, non è schedato ed è consultabile solamente attraverso un registro d'inventario.