Bogati pomorac, pučanin rodom iz Suđurđa na otoku Šipanu Vice Stjepović Skočibuha, promotor renesansnog načina života i razmišljanja, sagradio je (1574.-1588.) ljetnikovac na predjelu Boninovo - Između tri crkve. Od svih dubrovačkih ladanjskih zdanja dvorac Skočibuha ima njaljepši položaj. S njegove terase pogled se stere uzduž dubrovačkih otoke.  

Vice se u ranoj mladosti okrenuo pomorstvu i ubrzo postao jedan od najbogatijih ljudi u Dubrovniku. Skočibuhe, iako nisu bili vlastelinskoga roda, posjedovali su svoj obiteljski grb (naga djevojka na dupinu) koji i danas krasi ulazni portal ljetnikovca. Ljetnikovac je građen po stranim uzorima te podsjeća na vilu Farnese u Capraroli. Stoga je vrlo moguće da je djelo nekog talijanskog arhitekta. 

Čitav sklop položen je na dvije vrtne terase, a naglašena simetrija svih njegovih dijelova odaje duh zrele renesanse. Prednja zapadna fasada rastvorena je dvjema ložama (u prizemlju i na katu) dajući ovom ljetnikovcu specifičnost, a kapelica Gospe od Loreta smještena je bočno do samog zdanja. Pred pročeljem se proteže duga prostrana šetnica porubljena balustradom, odakle se rastvara široki pogled na gruški zaljev. Na krajevima šetnice postavljene su kamene krune gustjerne naglašavajući pristup donjem vrtu.

Raskošni kameni stupovi na balustradi mogu se usporediti s onima u vrtu ljetnikovca Crijević-Pucić podno Graca i stoga ih pripisujemo istome klesaru, Vicku Lujovu. Šetnice u stražnjem dijelu gornjega vrta porubljuju jednostavni kameni stupovi za odrinu, za razliku od onih u donjem vrtu, koji su kićenije izvedeni. Donjoj vrtnoj terasi pristupa se s dvije strane preko kamenih stepenica postavljenih bočno uz ogradne zidove. U podzidu donjeg vrta ("basis vilae") bila je izgrađena umjetna špilja iz koje je izvirala voda. Mnogo je priča vezano uz Skočibuhin ljetnikovac. U njemu je od 1772. do 1774. boravila ruska princeza Jelisaveta Turakanova spremajući urotu protiv Rusije, tražeći da se kao nasljednica ruskih careva vrati na prijestolje.

Početkom 19. stoljeća, kad je ruska i crnogorska vojska prodrla sve do Grada, ljetnikovac Vice Skočibuhe bio je potpuno opljačkan i spaljen, kao i mnogi ostali ljetnikovci i kuće na širem području Dubrovnika. Tek tridesetih godina 20. stoljeća kupio ga je i obnovio jedan bogati Rus. Tada su obavljene i neke promjene u kompoziciji vrta, pa su na gornjoj terasi izgrađeni neprimjereni betonski rubnjaci, kao i pregradnje unutar samog ljetnikovca.

Godine 1979. Skočibuhin ljetnikovac je udomio Znanstvenu biblioteku, u čijem je vlasništvu i danas, s tim da je glavna biblioteka ponovno preseljena u povijesnu jezgru.