Jeffrey Phillip Wielandt urodził się 14 stycznia 1967 w Bayonne w New Jersey. Rodzina i przyjaciele nazywali go „Flip”, jednak na scenie znany jest pod pseudonimem Zakk Wylde. Zainteresowanie muzyką zawdzięcza nie żyjącemu już ojcu, Jerome’owi F. Wielandt’owi. W roku 1985 ukończył Jackson Memorial High School.

W wieku dwudziestu dwóch lat dołączył do Black Sabbath Ozzy’ego Osbourne’a, biorąc udział w zaledwie jednym przesłuchaniu. Pierwszy koncert, jaki Zakk zagrał z artystą odbył się w więzieniu. Tego samego roku wydali „No Rest For The Wicked”, w 1990 „Just Say Ozzy”, rok później album „No more tears”, a trzy lata później „Live and Loud”. Oby dwie płyty odniosły sukces i ukazały talent Wylde’a. Ozzy zrezygnował z kariery tego samego roku, co skłoniło Zakka do stworzenia własnego zespołu – Pride and Glory, który już rok później na koncie miał jedną płytę. W 1995 Osbourne zdecydował powrócić na scenę muzyczną, więc Wylde postanowił mu ponownie towarzyszyć.
W 1998 stworzył kolejny własny zespół – Black Label Society, którego kreował, będąc jednocześnie członkiem zespołu Osbourne’a. Po jedenastu latach opuścił jednak Black Sabbath w towarzystwie Michaela Bordina i całą uwagę poświęcił swojej grupie.
W 2004 roku zajął ósme miejsce w rankingu najlepszych gitarzystów heavy metalowych magazynu "Guitar World".