1995年には名門ドイツ・グラモフォンと専属契約を結び、フィルハーモニア管弦楽団を指揮したベートーヴェンの交響曲第5番・第7番、ベルリン・ドイツ・オペラ管弦楽団を指揮したプフィッツナーとリヒャルト・シュトラウスの管弦楽曲集をリリースしてCDデビューを果たし[2]、現在に到るまで多くのCDやDVDを発表している[18]。
1997年には、ついに古巣ベルリン・ドイツ・オペラの音楽総監督に就任した(2004年まで)。このようにティーレマンは、純粋なドイツ人指揮者、しかも音楽学校出身で指揮者コンクールに入賞した指揮者が広く活躍している近年の音楽界[19]の中で、ヴィルヘルム・フルトヴェングラーやハンス・クナッパーツブッシュといった、かつてのドイツ人指揮者と同じく歌劇場でカペルマイスターの修業を積んだ指揮者として、国際的に脚光を浴びるようになっていったのである[15][7]。
ベルリン・ドイツ・オペラでは、有名なものから無名なものに至るまでのリヒャルト・シュトラウスの作品及び『さまよえるオランダ人』から『パルジファル』までのワーグナーの主要作品を上演してスペシャリストとしての名声を確立した[19][7]他、モーツァルトやプフィッツナーの作品、あるいは現代作品も数多く手がけた。現在のところティーレマンのレパートリーの中心はワーグナーやリヒャルト・シュトラウスを中心としたドイツ・オペラであるが、イタリアの作品やフランスの作品へも積極的に取り組む姿勢を見せている[20]。
ベルリン・ドイツ・オペラの総監督として実り多い活動を展開したが、2000年頃より始まったベルリンの三つの歌劇場をめぐる政治改革(ベルリン市の財政逼迫につき、閉鎖・合併を含めた予算的・人的整理が目的)を経た後、ティーレマンはベルリン・ドイツ・オペラの楽員や上演に当たっての条件改善を訴えるも受け入れられず、「削減された限られた予算で芸術的水準を保つのは不可能」[21]として、2004年のシーズンをもって辞任することとなってしまった。既にジェームズ・レヴァインの後任として、2004年より7年間の契約でミュンヘン・フィルハーモニー管弦楽団の音楽総監督に就任することが決定しており、ティーレマンとしてはベルリンとミュンヘンとを拠点として活動する予定であった[12]が、ベルリン・ドイツ・オペラ辞任によりミュンヘンを中心に活動していくこととなった。