Uczył się w Academy of Music w Wiedniu wraz z Jacobem Ortnerem. Na tej samej uczelni był w latach 1933-1984 profesorem muzyki. Dziś akademia nosi nazwę Academy of Music and Fine Arts. Rolę wykładowcy pełnił również w wiedeńskim Conservatory. Nauczał takich muzyków jak Heinza Wallischa, Roberta Wolffa, Jurga Chambera, Konrada Ragossniga, czy Richarda Pilkington. W czasach młodości był jednym z najlepszych uczniów, co zaowocowało w przyszłości. Stał się cenionym nauczycielem, jego nazwisko znane było dla studentów muzyki w wielu krajach. Jego „Lehrwerk fur Gitarre” do dziś stanowi podstawę nauczania gry na gitarze.Karl zasłynął w środowisku muzycznym dzięki niepowtarzalnemu warsztatowi muzycznemu i umiejętności gry na gitarze klasycznej. Uzyskał miano wirtuoza gitary, zmieniając jej status z akompaniamentu na solowy. Przyczynił się do zmienienia postrzegania instrumentu. Występował najczęściej w okolicy Wiednia, zdobywając niezliczone nagrody i cenione tytuły. Na nowo odkrył brzmienia barokowe i renesansowe, powracając do brzmień lutni i gitary pięciostrunowej.
Muzyk zmarł 22 listopada 1993 roku w stolicy Austrii.