3. Trigonometrische Interpolation

References (much better explanation): https://brianmcfee.net/dstbook-site/content/intro.html

Wir wollen nun periodische Funktionen approximieren. Dies geht mit Polynomen sehr schlecht. Wir suchen also das Equivalent → trigonometrische Approximation mit Sinus/Kosinus.

3.1 Fourier-Reihen

3.1.1 Fourier Reihen

Trigonometrisches Polynom

Die Funktion $p_m$ ist ein trigonometrisches Polynom von Grad $m$

$$p_m(t):=\sum _{j=-m}^m{\gamma }_j{e}^{2\pi ijt}$$

wobei ${\gamma }_j\in \mathbb{C}$ und $t\in \mathbb{R}$

Wir können diese Terme auch als ${\phi }_k(x)=\exp (2\pi ikx)$ schreiben.

Note: $p_m:\mathbb{R}\to \mathbb{C}$ ist periodisch mit Periode $1$!

• Periode $1$ weil gilt ${\phi }_k(x+1)=\exp (2\pi ik(x+1))=\exp (2\pi ikx)\cdot \exp (2\pi ik)=\exp (2\pi ikx)\cdot 1$ weil $e^{2\pi ik}=\cos (2\pi k)+i\sin (2\pi k)=1$

→ Wir müssen also equidistante Stützstellen und $f$ periodisch und definiert auf $[0,1]$ für Interpolation garantieren → sonst müssen wir transformieren

Note: Ein trigonometrisches Polynom vom Grad $\le m$ hat also $2m+1$ Koeffizienten (je $m$ für die negativen/positiven und $1$ für Grad $0$).

Reelwertig

Falls ${\gamma }_{-j}=\overline{{\gamma }_j}$ für alle $j$, dann ist $p_m$ reelwertig und für $a_j=2\mathrm{Re}({\gamma }_j)$ und $b_j=-2\mathrm{Im}({\gamma }_j)$ gilt

$$p_m(t)=\frac{a_0}{2}+\sum _{i=1}^m(a_j\cos (2\pi jt)+b_j\sin (2\pi jt))$$

Note: für ${\gamma }_j=\overline{{\gamma }_{-j}}$ gilt ${\gamma }_j{e}^{2\pi ijt}+\overline{{\gamma }_{-j}}{e}^{-2\pi ijt}=2\mathrm{Re}({\gamma }_j{e}^{2\pi ijt})=2\mathrm{Re}({\gamma }_j)\cos (2\pi jt)-2\mathrm{Im}({\gamma }_j)\sin (2\pi jt)$.
→ As the ${\gamma }_0$ term has no “partner” we have to divide by 2.

3.1.2 $L^2$ Raum

Wir wollen Funktions-Konvergenz quantifizieren, um beschreiben zu können, wie gut eine solche Fourer-Serie eine beliebige Funktion approximiert.

$L^2$-Funktionen

Wir definieren die Menge der $L^2$ Funktionen:

$$L^2(0,1):=\{f:(0,1)\to \mathbb{C}:||f|{|}_{L^2(0,1)}<\infty \}$$

$L^2$-Norm

Die $L^2$ Norm wird durch das Skalarprodukt definiert:

$$⟨g,f{⟩}_{L^2(0,1)}:={\int }_0^1\overline{g(x)}f(x)dx$$

Note: $L^2$ ist ein Vektorraum → es gelten C-S, die Dreiecksungleichung.

• ist sogar ein Hilbertraum.
  Der Raum enthält jede beschränkte stückweise stetige Funktion, auch mit Sprüngen und sogar unbeschränkte → unglatte

3.1.3 Fourier-”Basis” ist Orthonormal in $L^2$

${\phi }_k$ Orthonormal in $L^2$

Es gilt

$$⟨{\phi }_j,{\phi }_k⟩=\{\begin{array}{ll}0,& \text{wenn }k\ne j\\ 1,& \text{wenn }k=j\end{array}$$

und bilden somit eine Basis für den Unterraum der trigonometrischen Polynome.

Note: $L^2$ ist kein endlich-dimensionaler Raum → phis bilden trotzdem vollständige orthonormale Basis (mit einer Reihe anstatt endliche Summe)

Proof: Für ${\int }_0^1\overline{{\phi }_j(t)}{\phi }_j(t)dt$ gilt:

• es gilt $\overline{e^{2\pi ikt}}=e^{-2\pi ikt}$
• ${\int }_0^1\overline{{\phi }_j(t)}{\phi }_j(t)dt={\int }_0^1\overline{e^{2\pi ijt}}{e}^{2\pi ikt}dt={\int }_0^1{e}^{2\pi i(k-j)t}dt$
• Für $k=j$ ergibt das $e^0$, was von $[t{]}_0^1$ integriert $=1$ ist.
• Für $k\ne j$ gilt ${\int }_0^1{e}^{2\pi int}dt=\frac{e^{2\pi in}-1}{2\pi in}=\frac{1-1}{2\pi in}=0$

Note: Da die ${\phi }_k$‘s eine orthonormale Basis bilden, können wir jede Funktion in $L^2$ als Grenzwert der Fouriersumme schreiben.
→ Auf genau dies gehen wir im nächsten Abschnitt genauer ein.

Example: ${\phi }_k$‘s form a basis:

3.1.4 Konvergenz in $L^2$

Funktionsgrenzwert

Eine Funktion $f$ ist der $L^2$-Grenzwert einer Folge von Funktionen $f_n\in L^2(0,1)$ wenn für $n\to \infty$ gilt, dass $||f-f_n|{|}_{L^2(0,1)}\to 0$.

Note: Konvergenz im $L^2$ ist nicht schwächer/stärker als Punktweise, etc… sie ist anders.

Example: Die Step-Funktion approximiert durch die Fourier-Series konvergiert nicht Punktweise, aber im $L^2$
→ die Peaks werden weniger breit → gehen zu 0

• dass hält, weil im Integral eine endliche Anzahl an Punktweisen Unstetigkeiten den Wert nicht ändern.
  

Wir formalisieren die oben gesehene Aussage, dass jede Funktion als Fourier-Summe dargestellt werden kann:

Grenzwert der Fourier-Summe

Jede Funktion $f\in L^2(0,1)$ ist der $L^2$-Grenzwert ihrer Fourier-Reihe:

$$f(t)=\sum _{k=-\infty }^{\infty }\hat{f}(k)e^{2\pi ikt}$$

wobei $\hat{f}(k)=⟨{\phi }_k,f⟩={\int }_0^{1}f(t)e^{-2\pi ikt}dt$, $k\in \mathbb{Z}$ ist.

Note: $\hat{f}(k)=⟨{\phi }_k,f⟩$, misst also wie das normale Skalarprodukt die “Gleichheit” von $f$ mit jeder der Basisvektoren → wie Gram-Schmidt.

Parseval'sche Gleichung

$$\sum _{k=-\infty }^{\infty }|\hat{f}(k){|}^2=||f|{|}_{L^2(0,1)}^2$$

Note: für $m$ anstatt von $\pm \infty$ nennen wir dass die $m$-te Fourier-Partialsumme.

3.1.5 Ableitung der Fourier-Reihe

Ableitung von Fourier-Reihe von $f$

Es gilt $\hat{f}(k)={\int }_0^{1}f(t)e^{-2\pi ikt}dt$ also $\widehat{f^{\prime }}(k)=2\pi ik\hat{f}(k)$.
Falls sie erlaubt sind, gilt außerdem $\widehat{f^{(n)}}=(2\pi ik{)}^n\hat{f}(k)$

3.1.6 Gibbs-Phenomen

Falls die Funktion, welche wir approximieren, nicht glatt ist, so beobachten wir dass Gibbs-Phänomen.

Es bleiben, egal wie weit $n\to \infty$ immer Überschüsse konstanter Höhe. Jedoch werden sie immer weniger breit → $L^2$ Konvergenz

Example Gibbs für die Square-wave

3.2 Diskrete Fourier Transformation

Ohne Integral:
f(k) := 1/N summe → numerische Approximation des Integrals am Computer

Die ${\omega }_n$ hier mit Perioden

• prove orthogonality
• zeig warum sie 0 werden wenn potenz und geometrisches Argument

Bild mit den ${\omega }_N$ und der Pipe, wo die Rumschwingen

• auch geometrisch → magnitude = amplitude
• argument = phase

Die ${\omega }_N$ sind für alle multiplen der Frequenz wieder $=1$ → müssen also $N$ so gross wählen, dass wir nicht 100Hz und 200Hz verwechseln.
→ Aliasing und Nyquist frequenz

Fourier Matrix

Approximation mit Fourier-coeffs → dann zurück zum Polynom verliert nichts auf den $l/N$ Punkten → siehe Proof

• via Orthogonality → sums to exactly $f(l/N)\cdot N$ for $l=j$.
• this is the equivalent to Lagrange interpolation at the $x_j$

3.3 FFT

Matrix intuition aufschreiben

• rows = terms of the sum for each $l/N$
  • that’s why each row makes the $k$ one bigger (from 0 to $N-1$)
• cols → become the rows with the hermitian, those are the inverse coeffs
  • at each point in time, it sums over all the frequencies → get’s amplitudes

The output of ${\mathcal{F}}_{N}y=$ vektor containing each $\hat{f}(k)$

TODO Understand where the negative shift comes from

• what is the FFT shift
  ein Teil sind positiven anderer sind negative Freqs → -cos = cos
  
  rechtes Bild = small weil hinteren → niedriege Frequenzen, im negativen Bereich

Eigenwerte der Fourier-Matrix

• {-1, 1, i, -1}

TODO $L_2$ Norm von $f$ → Parseval; orthogonalität → was geht da ab

Faltung

Faltung mit DFT → anschauen!

3.4 Trigonometrische Interpolation

Wenn wir das ganze für $n=100$ FFT habe → damit wir an $N=1000000$ Punkten auswerten könnnen
→ Zero padding für den output

3.5 Fehlerabschätzung

3.6 Chebychev Knoten

Turns out chebychev interpolation = Fourier → cheby ist equispaced auf dem unit circle, also das gleiche wie Fourier auf $\cos (x)$ zu machen.

DCT vs. DFT → even functions