Die KI-Rechnung wird selten dort teuer, wo man hinschaut. Rund 72 Prozent der Kosten moderner KI-Systeme entstehen nicht beim Modell selbst, sondern in den Schritten dahinter. Wenn Anfragen weiterverarbeitet, wiederholt und überwacht werden. Genau das macht sie so tückisch: Sie bleiben lange unsichtbar, bis die Rechnung kommt. Im Podcast erklärt Thomas Elsner, Partner bei McKinsey, warum sich hier ein bekanntes Muster wiederholt: das der technischen Schulden, kurz Tech Debt. Wer diese Kosten nicht früh sichtbar macht, zahlt später doppelt. Elsner nennt das Phänomen Token Debt und zeigt vier konkrete Stellschrauben, mit denen sich der Spend in den Griff bekommen lässt. Eine zentrale Rolle spielt dabei ein sogenanntes AI Gateway, eine Art Schaltzentrale, die Anfragen automatisch zum günstigsten passenden Modell lenkt.

<p>Die KI-Rechnung wird selten dort teuer, wo man hinschaut. Rund 72 Prozent der Kosten moderner KI-Systeme entstehen nicht beim Modell selbst, sondern in den Schritten dahinter. Wenn Anfragen weiterverarbeitet, wiederholt und &uuml;berwacht werden. Genau das macht sie so t&uuml;ckisch: Sie bleiben lange unsichtbar, bis die Rechnung kommt. Im Podcast erkl&auml;rt Thomas Elsner, Partner bei McKinsey, warum sich hier ein bekanntes Muster wiederholt: das der technischen Schulden, kurz Tech Debt. Wer diese Kosten nicht fr&uuml;h sichtbar macht, zahlt sp&auml;ter doppelt. Elsner nennt das Ph&auml;nomen Token Debt und zeigt vier konkrete Stellschrauben, mit denen sich der Spend in den Griff bekommen l&auml;sst. Eine zentrale Rolle spielt dabei ein sogenanntes AI Gateway, eine Art Schaltzentrale, die Anfragen automatisch zum g&uuml;nstigsten passenden Modell lenkt.</p>

In diesem Podcast stellen McKinsey Expert:innen die Themen vor, die uns alle aktuell bewegen – und diskutieren, welche Auswirkungen sie auf das Morgen haben. McKinsey ist eine weltweit tätige Unternehmensberatung, die Organisationen dabei hilft, nachhaltiges, integratives Wachstum zu erzielen.

In diesem Podcast stellen McKinsey Expert:innen die Themen vor, die uns alle aktuell bewegen – und diskutieren, welche Auswirkungen sie auf das Morgen haben.