Il toponimo si fa risalire all'alto germanico biunda o piunta "terreno recintato o fortificato", anche conosciuto col nome di Duomo vecchio, in quanto antica sede vescovile dalle origini della diocesi aretina al 1203, anno di trasferimento della Cattedrale in città nell'odierno Duomo.

Dai documenti si sa che l'antica sede vescovile era composta da due chiese Cattedrali, la prima conosciuta col titolo di S. Maria e S. Stefano, e l'altra col titolo di tempio di S. Donato; inoltre del complesso vescovile dovevano far parte la Canonica, con le abitazioni del clero; e le varie scuole di copistica, calligrafia, archivistica e canto, dove si formò il celebre Guido Monaco.

Il sito, già parzialmente abbandonato dal XIII secolo in poi, fu definitivamente abbandonato nel 1561 quando il Granduca Cosimo I ne ordinò la distruzione.

Gli scavi archeologici, che hanno interessato l'area già a partire dagli inizi del '900  ripresi nel '60 e successivamente nel '70, hanno messo in luce i resti della cattedrale di S. Maria e S. Stefano datata tra la fine del VII e la prima metà del secolo VIII.

Questa si presenta come una chiesa a pianta longitudinale, orientata ad est, a tre navate e con tre absidi curvilinee, con cripta sottostante l'altare a navatelle.

Inoltre dagli scavi è ermerso che la Cattedrale fù costruita su un sepolcretto cristiano (V-VII secolo) e su un' edificio romano, interrato già prima del IV- V secolo.

Non è stato ritrovato, invece, il tempio di S. Donato, che doveva conservare le reliquie del santo martire e patrono della città di Arezzo; ma di questa celebre chiesa restano numerose raffigurazioni. Costruito intorno all' anno 1032 dall' architetto Maginardo su modello del S. Vitale di Ravenna esso doveva presentarsi come un edificio a pianta centrale di forma ottagonale.