Die Adelsfamilie von Sax (ursprünglich de Sacco) stammte aus der heutigen Ostschweiz.
Der früheste urkundlich erwähnte Vertreter der Familie war 1137/39 Eberhard de Sacco. Als Stammvater gilt jedoch der 1188 erwähnte Albrecht von Sax. Einer Stiftungsurkunde zufolge war die Familie Sax 1168 im Besitz der Talschaft Misox, die sie wohl als Anhänger der Staufer zu Lehen bekommen hatten. Heinrich I. von Sax war Vogt des Klosters St. Gallen, der Klöster Disentis und Pfäfers, Erbauer der Burg Forstegg, Herr der Burg Wartenstein. Unter ihm erwarben die von Sax auch bedeutende Güter im Toggenburg und im Rheintal, wo sie um 1200 die nach ihnen benannte Burg Hohensax als Herrschaftszentrum erbauten.