Herman Rouw, debuteerde op 16-jarige leeftijd als solist met orkest. Daarna studeerde hij piano en koordirectie aan het Sweelinck Conservatorium bij Edith Lateiner-Grosz en Jan Pasveer. Hij volgde masterclasses in Parijs bij Eric Heidsieck en in Siena bij Guido Agosti en een cursus orkestdirectie bij het Noordhollands Philharmonisch Orkest o.l.v. Fabrice Bollon.
Van 1998 tot 2010 was Herman Rouw redacteur en adviseur voor religieuze en klassieke muziek bij diverse omroepen. Momenteel is hij werkzaam als docent, dirigent van de Schola van het Cenakel, geeft hij concerten in binnen- en buitenland en werkt hij veelvuldig mee aan radio- en tv-uitzendingen en cd-opnames.
Sinds enige tijd is hij gespecialiseerd in het coachen van jong talent op de Podiumafdeling van de Muziekschool Amsterdam. Leerlingen uit het Amsterdams Jongens en Meisjes Koor, dat sinds 1998 onder zijn leiding staat, werken regelmatig mee aan concerten in het Concertgebouw en aan uitvoeringen van de Nederlandse Opera.
Regelmatig worden composities en arrangementen van zijn hand uitgevoerd en uitgegeven.
Jaarlijks vindt op zijn initiatief het Sporenburgconcert plaats in het Oostelijk Havengebied te Amsterdam.
Sinds begin 1996 is Herman Rouw als dirigent verbonden aan de Christelijke Oratorium Vereniging Zaanstreek. Vanaf november 2010 is hij tevens de vaste dirigent van Kamerkoor Musica Amsterdam.