Joe rozpoczął karierę w wieku 15 lat w zespole The Avengers, w którym udzielał się także jego brat. Następnym krokiem było założenie wraz z basistą Chrisem Staintonem zespołu Grease Band. To właśnie z tym składem nagrał przebój "With a Little Help from My Friends" z repertuaru zespołu The Beatles. Wykonanie Cockera stało się bardziej rozpoznawalne i w ocenie wielu odbiorców, lepsze od oryginału. Sława, pieniądze i rock'n'roll bywają jednak mieszanką wybuchową. W latach 70-tych Joe praktycznie zniknął ze sceny, targany problemami z alkoholem i narkotykami.Działalność muzyczną wznowił w latach osiemdziesiątych. Mimo nieprzychylnych opinii krytyków, nie poddawał się i nagrywał kolejne – za każdym razem bardziej wartościowe artystycznie albumy. Lata 90-te to zdecydowanie czas kiedy Cocker był w najlepszej muzycznej formie. To właśnie w tym okresie powstały takie przeboje jak Up Where We Belong, You Are So Beautiful, When the Night Comes, N'oubliez Jamais czy Unchain My Heart autorstwa Raya Charlesa.W roku 2004 artysta nagrał płytę "Heart & Soul" - kompilacja znanych piosenek rockowych, R&B i soulowych, które w największym stopniu wpłynęły na twórczość Joe. Płyta odniosła sukces komercyjny, a muzyk zyskał dużą grupę nowych fanów. Cocker kilka razy odwiedzał Polskę. Ostatni raz w naszym kraju wystąpił w 2012 roku, na scenie Sali Kongresowej w Pałacu Kultury i Nauki.
Przez ostatnich kilka lat Joe Cocker zmagał się z rakiem płuc, niestety choroba okazała się silniejsza.