Studiując na Berklee College of Music zaprzyjaźnił się z innymi muzykami, z którymi wkrótce grywał w lokalnych barach i klubach muzycznych. W jednym z nich – Jazz Workshop – Abercrombie podpatrywał Johna Coltrane i Thelonious Monk. W kolejnym, znajdującym się tuż obok – Paul’s Mall – John poznał Johnny’ego Hammonda Smitha, który zaprosił go do udziału w trasie koncertowej. W tym samym czasie Abercrombie spotkał Brecker Brothers, którzy zaproponowali mu współpracę w nowopowstałym Dreams – jazzowo-rockowym zespole, który ukształtował historię lat sześćdziesiątych i siedemdziesiątych. Zgodziwszy się, Abercrombie wystąpił na pierwszym albumie grupy.
Tuż po ukończeniu studiów na Berklee John przeprowadził się do Nowego Jorku, gdzie w szybkim czasie stał się jednym z najbardziej popularnych muzyków sesyjnych. Nagrywał między innymi z Gato Barbierim, Barrym Milesem, Chico Hamiltonem i Gilem Evansem. Wystąpił ponadto na paru krążkach Cobhama – w tym „Crosswins”, „Total Eclipse” i „Shabazz”. Pomimo wejścia w wielki świat koncertów i międzynarodowej areny muzycznej John nie czuł się dopasowany do tego obrazka.
We wczesnych latach siedemdziesiątych Abercrombie nawiązał współpracę z Manfredem Eicher, który namówił go na nagranie albumu z ECM. W rezultacie John wydał debiutancką solową płytę „Timeless”, wspartą udziałem Jana Hammera i Jacka DeJohnette’a. W roku 1975 artysta wydał „Gateway” wraz z Davem Hollandem i DeJohnettem.
„Pewnej nocy występowaliśmy na Spectrum w Filadelfii i pomyślałem – co ja tutaj robię?”
Wkrótce utworzył kwartet z Richiem Beirachem, Georgiem Mrazem i Peterem Donaldem. Wraz z nimi wydał trzy albumy dla ECM – „Arcade”, „Abercrombie Quartet” oraz „M”.
Jego kolejny zespół – trio z Markiem Johnsonem i Peterem Erskinem – dało mu możliwość eksperymentowania z syntezatorem gitarowym, a co za tym idzie grania głośniejszej i bardziej otwartej muzyki, jak sam ją nazwał. Owocem tej współpracy były trzy albumy – „Getting There”, „Current Events” i „John Abercrombie, Marc Johnson i & Peter Erskine”.
„To było dla mnie bardzo ważne by utworzyć ten zespół. Była to zdecydowanie dobra grupa, ale jednocześnie szansa dla mnie samego, by stać się prawdziwym liderem i pisać konsekwentnie dla tej samej grupy artystów.”
W roku 1995 John nagrał wraz z Gateway album „Homecoming”. Wciąż ściśle powiązany z jazzem nawiązał współpracę z organistą Danem Wallem i perkusistą Adamem Nussbaumem, tworząc „We Were Young”, „Speak of The Devil”, „Tactics” oraz „Open Land” wydany przy współpracy z Markiem Feldmanem i Joem Lovano.
Dopiero znajomość z Feldmanem w kwartecie z Markiem Johnsonem i Joeyem Barronem wprowadziła Abercrombiego w świat wolnej, niemal improwizowanej muzyki. Od tej pory jego brzmienia kojarzone są z muzyką kameralną, czułością dźwięku i telepatyczną komunikacją pomiędzy artystami.
W latach dziewięćdziesiątych oraz nowego tysiąclecia John poświęcił się ukochanemu jazzowi oraz współpracy z wieloma innymi artystami – m.in. z Ralphem Townerem, Johnem Scotfieldem, Janem Garbarekiem i Eddiem Gomezem. Ponadto wciąż koncertował i nieustannie pracował również ECM – przez całe trzydzieści lat!
„Chciałbym, aby luzie postrzegali mnie jako ściśle powiązanego z historią jazzu, a jednocześnie nieustannie poszerzającego granice muzyczne.”