Stworzył swój własny zespół Anaconda, co z kolei rzuciło na niego światło i przykuło zainteresowanie znanych artystów. W ten sposób miał okazję pracować jako muzyk sesyjny z takimi muzykami jak Meat Loaf, czy Stevie Nicks.
Niedługo potem został zaproszony do zespołu przez Jimmy’ego Iovine’a, który zaoferował mu posatę głównego gitarzysty i twórcy tekstów piosenek. Wraz z Flame wydał dwa albumy – debiutancki „Queen of The Neighborhood” oraz „Flame” z 1978 roku.
Po rozpadzie Flames Crespo powrócił na stanowisko muzyka sesyjnego, przykuwając uwagę menadżera Aerosmith. W tym czasie z zespołu odszedł Joe Perry. James otrzymał zaproszenie na przesłuchanie i wkrótce, w październiku 1979 roku zaproponowano mu dołączenie do zespołu na stanowisko gitarzysty prowadzącego. Już na samym początku rozpoczął trasę koncertową z zespołem, która zaburzona była przez stan zdrowotny wokalisty Stevena Tylera.W tym czasie Joey Krammer uformował zespół Renegade, do którego Crespo zaproszony został u boku Marge Raymond, Toma Hamiltona i Boba Mayo. Nagrany w Power Station album wyprodukowany przez Tony’ego Bongioviego nigdy nie ujrzał światła dziennego.
Mimo licznych kłopotów Tylera – w tym wypadku w roku 1981 – wraz z Crespo powrócił do pisania tekstów oraz koncertowania. Jimmy stał się współtwórcą sześciu utworów z „Rock in a Hard Place”, a także zagrał większość solówek. Album zajął trzydzieste siódme miejsce na liście Billboardu Stanów Zjednoczonych.
Kolejnym przystankiem w karierze Crespo była dwuletnia trasa koncertowa, podczas której zżył się z Rickiem Dufayem, zastępującym Brada Whitforda. Z powodu utrudnień komerycjnych poprzedzających wydanie kolejnego albumu, a także prywatnych potyczek w zespole, Jimmy odszedł w roku 1984, pozostawiając zespół w poprzednim składzie z lat siedemdziesiątych.
Crespo rozpoczął współpracę ze Stress oraz Adamem Bombem. Etap pracy ze Stress uwieczniony został na bonusowym CD albumu „Killing Me Night & Day”, z kolei w przypadku Bomba pojawił się na jego albumie „Fatal Attraction”. Niedługo potem przeprowadził się do Los Angeles z nową żoną Cynthią – matą jego trójki dzieci: Cristiny Ann, Jasona i Jarrida.
Wkrótce dołączył do Danny’ego Sheridana i Bonnie Bramlett w zespole Bandaloo Doctors. Współpraca trwała od 1987 roku przez kolejne pięć lat. W tym czasie poświęcił się również muzyce jako gitarzysta sesyjny oraz uczestnik tras koncertowych. Przez parę lat nagrywał też z Billym Squierem, a także Phoenix. Od roku 1994 do 1996 był członkiem zespłu Roda Stewarta. Stworzył również The Jimmy Crespo Project, którego skład nieustannie się zmieniał. Ponadto wziął udział w projekcie The HitMen All Stars z członkami Aerosmith, Boston, Dire Straits, Journey i Fleetwood Mac & Night Ranger.