Leone był synem reżysera Roberta Robertiego i aktorki Edvige'y Valcarenghi. Od początku zafascynowany kinem, w wieku 18 lat zrezygnował ze studiów i rozpoczął pracę w przemyśle filmowym. Asystował Vittorowi de Sice przy "Złodziejach rowerów". Pracował także przy amerykańskich produkcjach kręconych we Włoszech, między innymi "Quo Vadis" (1951) i "Ben-Hurze" (1959). Jednocześnie zaczął pisać własne scenariusze.
W 1959 roku poproszono go o zastąpienie reżysera "Ostatnich dni Pompei", gdy ten się rozchorował. Doświadczenie to pozwoliło Leone zrealizować swój pierwszy samodzielny film - "Kolosa z Rodos" w 1961 roku. Chociaż debiutował w kinie kostiumowym, od czasów antycznych bardziej pociągał go dziki zachód. Kilka lat później Leone stał się prekursorem tak zwanego spaghetti westernu - brutalniejszej i brudniejszej wersji klasycznego amerykańskiego gatunku.
W 1964 roku zrealizował pierwszy film wchodzący w skład tak zwanej "trylogii dolara": "Za garść dolarów". W roli głównej - bezimiennego jeźdźca, który wplątuje się w konflikt dwóch rodzin - wystąpił dotychczas szerzej nieznany Clint Eastwood. Leone zaprezentował tam zestaw środków, które później będą jego znakami rozpoznawczymi. Długie ujęcia, oszczędne dialogi, zbliżenia na twarze rewolwerowców i powolne tempo, przerywane nagłym wybuchem przemocy.
Z filmem wiąże się także kontrowersje. Leone praktycznie skopiował fabułę "Straży przybocznej" Akiry Kurosawy, uprzednio nie kontaktując się z japońskim twórcą. Ten pozwał go po premierze "Za garść dolarów". Obaj doszli do porozumienia. Kurosawa otrzymał 100 tysięcy dolarów i 15% wpływów. Leone zaznaczał jednak, że wiele elementów zostało pożyczonych z innych filmów - między innymi "Jeźdźca znikąd". W kolejnych latach Leone zrealizował dwie kolejne części trylogii dolara: "Za kilka dolarów więcej" (1965) oraz "Dobry, zły i brzydki" (1966). W obu ponownie pracował z Eastwoodem i kompozytorem Ennio Moricone. Wszystkie trzy filmy okazały się bardzo popularne.
Sukces trylogii sprawił, że Leone w 1967 roku mógł zrealizować w Stanach swe arcydzieło - "Pewnego razu na dzikim zachodzie". Jego reżyseria była doprowadzona do perfekcji, podobnie jak scenariusz i aktorstwo. W roli niebezpiecznego Franka pojawił się Henry Fonda, dotychczas kojarzony z rolami pozytywnymi. W ścigającego go "Harmonijkę" wcielił się Charles Bronson. To do niego należały najlepsze dialogi w filmie. Gdy pojawia się po raz pierwszy, trzech czekających na niego jeźdźców mówi "Mamy o jednego konia za mało". "Nie, o dwa za dużo" - odpowiada "Harmonijka", zabija ich i berze jednego konia.
W 1972 roku Leone musiał odmówić reżyserii "Ojca chrzestnego". Decyzji tej żałował do końca życia. Niejako rekompensatą za nią okazał się ostatni film w jego karierze - gangsterska epopeja "Dawno temu w Ameryce" (1984). Film opowiadał ciągnąca się przez kilkadziesiąt lat historię dwójki przyjaciół - Noodlesa i Maksa - którzy poznają się jako nastoletni chłopcy w latach dwudziestych XX. wieku. Po raz kolejny spotykają się w latach trzydziestych - wtedy stają się jednymi z większych dostawców nielegalnego alkoholu. Po tragicznych wydarzeniach ich historia kończy się pod koniec lat sześćdziesiątych.
Dla Leone był to najambitniejszy projekt w życiu. W rolach głównych wystąpili Robert de Niro i James Woods. Ostateczna wersja montażowa trwała prawie cztery godziny. Film w tej formie pokazano na festiwalu w Cannes w 1984 roku. Nagrodzono go piętnastominutową owacją. Jednak amerykańscy dystrybutorzy bali się wprowadzić filmu do kin w tej wersji. Skrócono go do 139 minut, sceny ustawiono w kolejności chronologicznej, finał uczyniono bardziej dosłownym, a ogólny wydźwięk dzieła złagodzono. W efekcie krytycy uznali go za najgorszy film roku. Poza USA dzieło Leone było pokazywane w pełnej wersji. Ta uchodzi dziś za produkcję kultową.
W 1989 roku Leone miał rozpocząć prace nad epickim filmem wojennym opowiadającym o oblężeniu Leningradu w czasie drugiej wojny światowej. Reżyserowi udało się nawet uzbierać połowę budżetu, szacowanego na 100 milionów dolarów. Do realizacji jednak nie doszło. 30 kwietnia, zaledwie kilka dni przed podpisaniem kontraktu, Leone dostał rozległego zawału serca. W swej karierze zrealizował zaledwie 11 filmów. Zapewniły mu one jednak ważną pozycje w historii kina. Jego twórczość stanowi inspirację dla wielu - między innymi Quentina Tarnatino.
