Arrivando da Trabuccato, sia via mare che via terra, il villaggio di Cala d’Oliva appare quasi improvvisamente, come un piccolo paesello costiero di colore bianco. Il borgo è costituito da edifici bassi nella parte vecchia, mentre la zona più alta, ove erano concentrate le principali attività carcerarie, è caratterizzata da volumetrie più importanti, quasi fuori scala, come gli uffici della Direzione, la Caserma degli Agenti, le officine, le strutture penitenziarie del Bunker e della Diramazione Centrale.

Le case di Cala d’Oliva nascono su strette stradine pavimentate in pietra, a ricordare la disposizione urbana di alcuni centri liguri costieri. Ai lati della via centrale si estendono due file di edifici che portano verso la piazzetta belvedere con la chiesa. Le tipologie d’uso sono prevalentemente abitative, con locali destinati in passato a servizi quali infermeria, bar, dispensa agricola, pizzeria e anche un vecchio cinema.

Dal centro del villaggio partono diverse stradine, verso il porticciolo, verso l’edificio della Nuova Foresteria, sede della Caserma della Forestale, verso la parte alta sino alla Diramazione Centrale, l’edificio carcerario più importante dell’isola, oggi Centro di Educazione Ambientale del Parco.