Cette bibliothèque, construite vers 120-125 après J.-C., est un des nombreux monuments financés par l'aristocratie locale. C'est à Titus Flavius Severianus Neon, membre d'une des plus illustres familles de Sagalassos, qu'on doit la bibliothèque. L'édifice était dédié à son père décédé. La bibliothèque de Sagalassos rappelle à bien des égards la Bibliothèque de Celsus à Éphèse (114 après J.-C.), également construite par un fils pour son père.
Seule la base en pierre du mur arrière remonte à la première phase de construction. Les niches contenaient des statues. Elles sont surmontées d'inscriptions qui nous indiquent que Neon et certains membres de sa famille furent honorés par le conseil municipal et l'assemblée.
Vers l'an 200 de notre ère, l'édifice connut des problèmes structurels. La portée du toit dut être réduite. Pour ce faire, les deux murs latéraux ont été reconstruits vers l'intérieur afin de supporter une toiture de moindre portée. Le mur arrière, construit en maçonnerie de brique, date également de cette période.
Le sol en mosaïque date d'une seconde phase de rénovation, sous l'empereur Julien l'Apostat (362-363 après J.-C.). Le panneau central représentait une scène de la Guerre de Troie, montrant l'adieu d'Achille à sa mère Thétis avant de partir à la guerre.
Vers la fin du 4ème siècle, le monument et sa mosaïque ont été détruits par les Chrétiens, avides de s'attaquer aux symboles de la culture païenne. Les fissures visibles dans le sol sont le résultat du tremblement de terre daté de peu après l'an 600.