Poważną karierę rozpoczął dołączając do zespołu The Tridents w roki 1964, a także współpracując z Screaming Lord Sutch and The Savages. Rok później dołączył do The Yardbirds, zastępując w nim Claptona, co przyniosło mu popularność. W 1966 roku zastąpił go Jimmy Page, Jeff zajął się wówczas karierą solową - nagrał płytę „Hi-Ho-Slver lining”. Pod koniec lat sześćdziesiątych stworzył Jeff Beck Group wraz z Rodem Stewartem i Ronem Woodem. Nagrali dwa albumy – „Truth” i „Beck-ola”.Po odejściu Roda na rynek wyszły jeszcze dwa albumy „Rough and Ready” i „Jeff Beck Group”. Dzięki temu Jeff Beck stał się jednym z najlepszych gitarzystów rockowych na świecie. Po zawieszeniu działalności zespołu, Beck rozpoczął współpracę z Vanilla Fudze, nagrywając płytę „Beck Bogert Appice”. W 1975 roku nagrał dwa kolejne albumy „Blow by Blow” i „Wired”.
Lata osiemdziesiąte przyniosły trzy kolejne płyty Becka. W roku 1983 wystąpił z Ericem Claptonem i Jimmym Pagem zagrali na koncercie charytatywnym, rok później został poproszony o zagranie solówek na płycie Micka Jaggera „She’s The Boss”. Album „Guitar Shop” otrzymał w roku 1990 nagrodę Grammy. W tym dziesięcioleciu skupił się głównie na koncertowaniu i okazjonalnych nagraniach. Do tworzenia muzyki powrócił pod koniec dekady wraz z płytą „Who else!”, na której eksperymentował z mieszaniem gatunków rocka i techno, otrzymał za nią nominację do nagrody Grammy.
W 2000 roku rozpoczął pracę nad kolejnymi albumami, w tym dziesięcioleciu wydał „Jeff”, „Blue Wind”, „You had it doming”, oraz „Emotion and commotion”. W roku 2003 zajął czternaste miejsce na liście „100 najlepszych gitarzystów wszechczasów” magazynu Rolling Stone. Sześć lat później wprowadzono go do Rock and Roll Hall of Fame.