Nel 1661 fu costruita lontana dalla città di Toscanella circa mezzo miglio , prima del ponte sul fosso Capecchio, ed era degli agricoltori che vi facevano la festa il giorno dell’Ascensione. Aveva annesso un piccolo ospizio nel quale ,alle volte, viveva un eremita con il placet dell’ordinario ecclesiastico.
Il 21 marzo 1748 San Paolo della Croce che era partito il giorno precedente dal Monte Argentario, nella camminata da Montalto di Castro a Toscanella svenne per il gran freddo del vento di tramontana violento e gelido e fu portato proprio in questa chiesa per riposarsi e pregare. Poi i padri passionisti furono accolti da Girolama Tozzi nel suo palazzo di famiglia. Il giorno seguente il santo s’incontrò con il vescovo di Tuscania e Viterbo Alessandro Abbati giunto a Toscanella per organizzare l’ingresso nel santuario di Santa Maria del Cerro, dopo i lavori di restauro.
Nel mese di marzo del 1847 il muratore Luigi Strappati ed un suo manovale eseguirono un lavoro al romitorio per ordine del canonico Francesco Bartoletti , ripulirono il tetto della casa dell’eremita ed una parte di quello della chiesa, murarono le tavole e fecero di nuovo tutta la gronda, quindi sistemarono il muro della camera dello stesso, la imbiancarono e realizzarono diversi rappezzi nel mattonato, fu ristabilita ed imbiancata anche la chiesa, costruirono lo zoccolo ed il piedistallo, sistemarono l’altare e misero il quadro della Madonna.
Nella documentazione si legge anche che misero tutte le pianelle rotte nel soffitto della chiesa. Giuseppe Ugolini fabbricò una finestra al romitorio alta palmi tre e mezzo e larga palmi tre , con un telaio con lo sportello di legno che si chiudeva dietro, sempre per ordine dello stesso canonico.
Nel mese di giugno del 1848 lo stesso muratore Luigi Strappati compì altri lavori di restauro al romitorio per ordine del vicario Alessandro Lucchetti e del canonico Francesco Bartoletti; demolì il tetto che era fatto a cannucce, cambiò i legni vecchi e le filagne con le pianelle e le tavole; sistemò la muratura, il colmareccio, la gronda e le bocchette; inoltre fece i rappezzi di stabilitura della chiesa e la imbiancò.
Il 29 aprile 1865 fu scritto : “Eccellenza Reverendissima, a poca distanza di questa Città, in mezzo ad un appezzamento di terreno che era già di proprietà del venerabile Monastero di San Simone di Viterbo e di questo Venerabile Ospedale di Santa Croce, ora dei fratelli Laurenti succeduti al lodato Monastero per titoli di compra e vendita dal Venerabile Ospedale per enfiteusi perpetua, esiste una chiesuola con piccolo rispetto di terreno, l’un l’altro della estensione di centesimi 44 di tavola censuaria, abbandonata e che sicuramente andrebbe a deperire se più non avesse persona che la prenda in cura e patronato.”
Per questo Don Vincenzo e Don Eugenio fratelli Laurenti , il primo Canonico Teologo, il secondo Canonico Curato di questa cattedrale fanno rispettosa istanza perché si degni di concedere ai medesimi e loro successori nel fondo suddetto la chiesuola e spalto (terreno) inespresso coll’obbligo di mantenerla, conservarla e piuttosto migliorarla non che di poter celebrare a tutto loro carico la santa Messa almeno una volta l’anno cioè nel giorno dell’Ascensione di Nostro Signore Gesù Cristo. Frate Antonio Maria Pettinari , vescovo di Nocera Umbra, Amministratore Apostolico , per grazia di Dio e della Sede Apostolica, della diocesi Tuscanese e Viterbese, rispose: ”Avendo letto le richieste, con l’invocazione della Beata Vergine Maria di Rusciavecchia assegniamo, concediamo ed elargiamo la chiesuola anche per il futuro con tutti i diritti, gli annessi e le pertinenze. Inoltre per i diritti degli oranti chiediamo che sia restaurata, adornata e custodita negli anni, che sia celebrata una messa nel giorno dell’Ascensione di Nostro Signore Gesù Cristo, che sia libera da ogni servitù, che siano conservate le due finestrelle in modo che i fedeli possano vedere la sacra immagine e che l’accesso sia libero per mezzo di un viottolo tra i campi adiacenti. Dato a Tuscania dal palazzo Vescovile.”
In seguito il 15 maggio 1891 Don Giuseppe Di Lorenzo arciprete e pro vicario scrisse : ”Eccellenza Reverendissima, esiste in questo territorio, in contrada Rusciavecchia entro un fondo dei fratelli Laurenti, un’antica fabbrica di un romitorio composta da una piccola cappella e camera annessa con uno spalto di terreno in tutto della superficie di centesimi 44 di tavole centurie compresa la fabbrica stessa. Questo romitorio rimasto abbandonato e ridotto in misera condizione , nell’anno 1865 fu concesso in patronato alla famiglia Laurenti a condizione che, a tutte sue spese, restaurasse la piccola chiesa , vi facesse celebrare la messa, che lasciasse libero il passo in mezzo al suo campo ai devoti che volessero visitare la detta chiesa”.
Queste condizioni non furono osservate e la chiesa fu definitivamente ridotta ad uso profano ed il fabbricato ridotto in una totale decadenza; venduti i beni dei Laurenti all’asta pubblica, essi passarono a titolo di compra in proprietà del Banco Maraini, il quale avendo trovato il fabbricato ridotto a male e per liberare il suo fondo da ogni servitù, ha proposto di comprare il detto fabbricato colla piccola porzione del terreno annesso offrendo la somma di lire 250.
“Considerando che il detto romitorio abbandonato da tanto tempo è ridotto in pessimo stato , che è stato esposto a profanazione di ogni maniera, che non vi sono mesi per ridurlo alla stato primitivo e che ormai, tanto nell’interno che nell’esterno, è tolta ogni apparenza di luogo sacro, propongo all’Eccellenza Vostra di accogliere la domanda del Banco Maraini e che la somma ricevuta dalla vendita sia impiegata esclusivamente nel restauro della chiesa di Maria Santissima dell’Olivo, con la considerazione del bene di questo popolo che ha speciale devozione a Maria Santissima venerata sotto questo titolo e perché essa è riguardata come monumento della storia di questa città, in quanto che nella chiesa è annesso il convento nel quale abitarono i frati Gesuati i quali, mentre che qui dimoravano, ebbero l’abito e l’approvazione del loro ordine dal Pontefice Urbano V che trovavasi di passaggio in questa città, sia finalmente restaurata perché la chiesa presenta un’architettura perfetta e che risale all’epoca del rinascimento delle belle arti. Per questi motivi faccio istanza all’eccellenza vostra reverendissima a volermi concedere uno speciale mandato per venire alla stipulazione del contrato di vendita del romitorio suddetto.”
Il 19 maggio 1891 l’arcivescovo Giovanni Battista Paolucci vescovo tuscanese e viterbese concesse la facoltà per la vendita della chiesuola di Santa Maria di Rusciavecchia e per i lavori della chiesa di Santa Maria dell’Olivo con le necessarie ed utili riparazioni, per restituirla al divino culto, alla devozione e per la pietà ed utilità del popolo.