Im selben Jahre wurde er zwanzigjährig zu dem besten Saxophonisten Deutschlands gekürt und von Kritikern als europäischer Benny Goodman apostrophiert.

Später war er Solist bei der erweiterten Goldenen Sieben, bei Kurt Hohenberger und Teddy Stauffer.

Dort traf er Hazy Osterwald, in dessen Tanzorchester er von 1947 bis zu seinem überraschenden, selbstgewählten Tod spielte.

Bei einem Konzert in Kopenhagen zeigte sich Benny Goodman von dem virtuosen Klarinettenspiel des europäischen Kollegen beeindruckt.

1949 trat Höllerhagen mit dem im gleichen Jahr gegründeten Jazz-Sextett von Hazy Osterwald auf dem ersten internationalen Jazz-Festival in Paris auf, wo er auch Charlie Parker begegnete.

Er legte auch Plattenaufnahmen mit dem Saxophonisten Willie Lewis und mit Coleman Hawkins vor.

Die Begegnung mit Hawkins 1936 in der Schweiz bezeichnete Höllerhagen als seine wichtigste musikalische Begegnung.

Wesentliche Jazzaufnahmen von Höllerhagen mit seiner Band sind auf der CD Ernst Höllerhagen: Aufnahmen 1942–1948 der Schweizer Plattenfirma Elite-Special versammelt.

Insgesamt spielte er mehr als 550 Titel ein.

Seine Frau verließ ihn und ging mit der Tochter in die USA.

Er wurde im selben Lebensjahr zwanzigjährig zu dem erstklassigsten Saxophonspieler Deutschlands erkürt und von Rezensenten als europäischer Benny Goodman etikettiert.

Er war verspäteter Frontmann bei der erweiterten Goldenen Sieben, bei Kurt Hohenberger und Teddy Stauffer.

Er traf ebenda Hazy Osterwald, in dessen Tanzkapelle er von 1947 maximal bis zu seinem plötzlichen, selbstgewählten Ableben spielte.

Benny Goodman zeigte sich bei einer Abendmusik in Kopenhagen von dem hervorragenden Klarinettensatz des Kameraden, der europäisch ist, fasziniert.

Wo er außerdem Charlie Parker begegnete, trat 1949 Höllerhagen mit dem Jazz-Sextett, das im ähnlichem Jahr gegründet ist, von Hazy Osterwald auf dem allerersten weltweiten Jazz-Festival in Paris auf.

Tonaufnahmen mit dem Saxophonspieler Willie Lewis und mit Coleman Hawkins legte er außerdem vor.

Höllerhagen bezeichnete die Zusammenkunft mit Hawkins 1936 in der Schweiz als seine entscheidendste schöpferische Runde.

Wesentliche Jazzwiedergaben von Höllerhagen mit seiner Gruppe sind auf der CD Ernst Höllerhagen : Mitschnitte 1942–1948 der Schweizer Schallplattenfirma Elite-Special gesammelt.

Er spielte gesamt mehr als 550 Stücke ein.

Ihn verließ seine Ehefrau und seine Ehefrau ging mit dem Töchterchen in die USA.