本症状の根本的な原因を突き止め、無事問題解決出来たので報告します。
GeForceの機能「RTX Video HDR」によってSDR動画がHDR品質にアップスケーリングされ、その時GPUに発生する負荷が大きくてリアルタイム再生に耐えられず、動画がカクついたり解像度設定が落ちるというモノでした。
この度はお騒がせして申し訳ありません。
なお、問題解決後もSDR動画がHDR相当にアップスケーリングされ、GPUに負荷は発生しないが発色がおかしくなる現象も確認していますが、こちらはGeForceドライバ側のバグとして把握済みです。