Numele Ellison a fost adoptat de tatăl său în onoarea punctului prin care a intrat în Statele Unite, Ellis Island. La vârsta de nouă ani, Ellison a făcut pneumonie, iar mama sa l-a dat unchilor spre adopţie. El nu şi-a mai întâlnit mama biologică până la vârsta de 48 de ani.

Deşi părinţii săi adoptivi, fiind evrei, mergeau în mod regulat la sinagogă, Larry Ellison a rămas un sceptic din punct de vedere religios pentru întreaga viaţă.  El a declarat: „Deşi cred că sunt religios într-un anumit sens, există anumite dogme în cadrul iudaismului cu care nu mă identific. Nu cred că sunt reale. Sunt poveşti frumoase şi îi respect pe cei care le cred, însă eu nu am nicio dovadă în sensul acesta„. El spune totuşi că are o „poveste de dragoste„ cu Israelul, dar nu una bazată pe credinţă, ci una bazată pe spiritul inovator al statului iudaic, mai ales în domeniul tehnologiei.

După ce a terminat liceul a urmat cursurile Universităţii din Illinois, însă a renunţat în al doilea an de facultate atunci când mama sa adoptivă a murit. A mai încercat la Universitatea din Chicago, dar a renunţat din nou după un singur semestru. În 1966, la 22 de ani, Ellison s-a mutat în California în căutarea succesului. A trecut dintr-o slujbă în alta, ocazie cu care a început să înveţe programare.  

În anii ‘70, Ellison a început să lucreze pentru Ampex Corporation. Unul dintre proiectele sale a fost realizarea unei baze de date pentru CIA, pe care el a numit-o Oracle. În 1977, a fondat alături de doi parteneri Software Development Laboratories (SDL) cu o investiţie iniţială de 2.000 de dolari. În anul 1982, SDL şi-a schimbat numele în Oracle Systems Corporation şi a lansat prima versiune a produsului, numită Oracle 2.

Oracle a crescut foarte repede, iar în 1986 Oracle s-a listat la bursă şi a raportat venituri de 55 milioane de dolari. Nu totul a mers ca pe roate şi în 1990 Ellison a trebuit să concedieze 400 de oameni (10% din angajaţi) din cauza a ceea ce a numit ca fiind "o greşeală de afaceri incredibilă". 

După ce a reparat greşeala, se spune că Oracle era aproape de faliment. În acelaşi timp, concurenţii Oracle înghiţeau din cota de piaţă a Oracle. 

În 1997, după întoarcerea lui Steve Jobs la Apple, Ellison a fost numit director al companiei. El a păstrat funcţia până în 2002, când a declarat că „programul nu îmi mai permite să particip la suficiente şedinţe pentru a-mi putea îndeplini rolul de director„.

Larry Ellison a reacţionat atunci când Hewlett-Packard l-a concediat din funcţia de CEO pe bunul său prieten Mark Hurd, spunând că „HP a făcut cea mai gravă eroare de personal de când idioţii din boardul Apple l-au dat afară pe Steve Jobs„. Ulterior, Hurd a fost angajat în funcţia de copreşedinte al Oracle.

În prezent, potrivit Forbes, Larry Ellison este al cincilea cel mai bogat om din SUA şi al şaptelea din lume, cu o avere estimată de 49,3 miliarde de dolari. Wall Street Jounal l-a desemnat ca fiind cel mai bine plătit CEO din ultima decadă, cu compensaţii totale de 1,9 miliarde de dolari.

Ellison deţine acţiuni în cadrul Salesforce.com, NetSuite, Quark Biotechnology şi Astex Pharmaceuticals. În 2012, el a cumpărat 98% din suprafaţa unei insule din Hawaii, deţinută anterior de David Murdock.