Kaufman zaczął występować w klubach w 1971 roku, zaraz po zakończeniu studiów. Przez ten czas wypracował kilka powracających skeczy. Jego styl komedii wyróżniał się na tle innych stand-upowców. Kaufman nie lubił zresztą być nazywanym "komikiem" i zarzekał się, że w całym swoim życiu nigdy nie opowiedział dowcipu. Zrobiło się o nim głośno, gdy zaproszono go do gościnnych występów w pierwszym sezonie "Saturday Night Live". Jego styl komedii nie przypadł jednak wszystkim do gustu. W sondzie telefonicznej w 1983 roku widzowie zagłosowali za usunięciem Kaufmana z programu.
Jego skecze nie opierały się na dowcipach czy historiach. Kaufman często przedłużał swoje występy i grał na cierpliwości widzów. Niektóre skecze rozpoczynał od czytania "Wielkiego Gatsby'ego" - zawsze przerywał jednak po drugiej stronie. Inne opierał na prowokacjach. Podczas opierającego się na serii skeczy programu "Fridays", Kaufman nagle wyszedł z roli i przestał czytać swoje kwestie. W pewnym momencie członek obsady Michael Richard wstał, wyszedł poza kadr i rzucił przed rozdrażnionego aktora karty z wypisanymi dialogami. W odpowiedzi Kaufman oblał go wodą, a producenci musieli przerwać program. Wszyscy zamieszani przyznali później, że zdarzenie było ustawione.
Jednak największą popularność przyniosła Kaufmanowi rola Latki Gravasa w sitcomie "Taxi" (1978-1983). Pochodzący z nieokreślonego kraju w Europie Wschodniej bohater nie grzeszył inteligencją, mówił łamanym angielskim, a jego dowcipy często nie miały pointy. Kaufman wypracował tę postać na potrzeby swoich występów scenicznych, a teraz dodał do niej kilka elementów - między innymi osobowość mnogą, dzięki której Kaufman mógł od czasu do czasu wcielać się w zupełnie nową postać. Aktor prywatnie nie przepadał za formatem sitcomów, a "Taxi" kręcił wyłącznie dla pieniędzy. Za udział w produkcji był dwukrotnie nominowany do Złotego Globu (w 1979 i 1981 roku).
Zachowanie Kaufmana podczas kręcenia serialu obrosło legendą. Aktor zgodził się na udział jedynie w 14 odcinkach na sezon. W dodatku wymusił także udział w czterech odcinkach Tony'ego Cliftona - swojego scenicznego alter ego, opryskliwego i wulgarnego gbura o krzaczastych wąsach, występującego zawsze w ciemnych okularach i z cygarem w dłoni (którym nigdy się nie zaciągał - Kaufman nie palił). Jednak pierwszego dnia zdjęć jego zachowanie doprowadzało wszystkich do szału. Kaufman został poproszony, by Clifton więcej nie pojawiał się na planie. Dalej występował w tej roli podczas scenicznych występów. Czasem wcielał się w niego przyjaciel i tekściarz aktora - Bob Zmuda.
Pod koniec listopada 1983 roku Kaufman zaczął podupadać na zdrowiu. Na prośbę najbliższych przeprowadził badania, których wynik był jednoznaczny. Artysta chorował na rzadką odmianę raka płuc. Mimo zastosowania medycyny tradycyjnej i alternatywnej szybko doszło do przerzutów do mózgu. Kaufman zmarł 19 maja 1984 roku. Nie wszyscy uwierzyli jednak w wiadomości o jego śmierci. Znając jego poprzednie dowcipy, wiele osób podejrzewało, że jego choroba i odejście było kolejnym żartem. Oliwy do ognia dolewał Zmuda, który kilka razy po śmierci Kaufmana występował w roli Cliftona.
Dziedzictwo Andy'ego Kaufmana jest wciąż żywe także dzięki Jimowi Carrey'owi. Aktor od zawsze był nim zafascynowany, dzielili zresztą dzień urodzin. Carrey wcielił się w Kaufmana w 1999 roku w "Człowieku z księżyca", który przytaczał najważniejsze wydarzenia z jego życia. Za swoją role został nagrodzony Złotym Globem, ale z niezrozumiałych przyczyn został pominięty przy nominacjach do Oscarów.
W 2017 roku ukazał się dokument "Jim and Andy: The Great Beyond", opisujący pracę na planie "Człowieka z księżyca" i Carreya, który odmawiał wyjścia z roli pomiędzy scenami. Nie spotkało się to z przychylnością obecnych przy produkcji przyjaciół Kaufmana. Twierdzili oni, że chociaż kreował się on na bezczelnego i łamiącego konwenanse, to prywatnie był sympatyczną i kulturalną osobą. Tymczasem Carrey przez cały czas grał wszystkim na nerwach.
