From e3207c9e817e68777438ca90c583d2b5b7f5f489 Mon Sep 17 00:00:00 2001 From: veecue Date: Wed, 22 Jan 2020 20:50:05 +0100 Subject: [PATCH] rework for ws19/20 --- StochastischeSignale.tex | 121 ++++++++++++++++++++++++++++++--------- 1 file changed, 94 insertions(+), 27 deletions(-) diff --git a/StochastischeSignale.tex b/StochastischeSignale.tex index 63830e3..546a2f3 100644 --- a/StochastischeSignale.tex +++ b/StochastischeSignale.tex @@ -19,6 +19,8 @@ \author{Alwin Ebermann, Emanuel Regnath, Martin Zellner, Alexander Preißner, Hendrik Böttcher, Lukas Kompatscher, Samuel Harder} \myemail{samuel.harder@tum.de} +\usepackage{makecell} + \DeclareMathOperator{\W}{\textit{W}} % Zufallsvariable W \DeclareMathOperator{\U}{\textit{U}} % Zufallsvariable U \DeclareMathOperator{\V}{\textit{W}} % Zufallsvariable V @@ -316,7 +318,14 @@ \section{Wahrscheinlichkeitsverteilungen} $\vec{\X} = [\X_1,\shdots,\X_n]^T$ mit $X_i$ Zufallsvariablen \subsubsection{Gemeinsame kumulative Verteilungsfunktion:} $F_{\X_1,\shdots,\X_n}(x_1,\shdots,x_n) = \boxed{F_{\vec{\X}}(\vec{x}) = \P(\{\vec{\X} \leq \vec{x}\})} = \newline - \P(\{\X_1 \leq x_1,\shdots,\X_n \leq x_n\})$ + \P(\{\X_1 \leq x_1,\shdots,\X_n \leq x_n\})$\\ + \textbf{Eigenschaften:} + \begin{itemize} + \item in jeder Koordinate Monoton wachsend + \item rechtsseitig Stetig: $\forall h>0:\lim\limits_{h\rightarrow 0}F_{\X_1,...,\X_n}(x_1+h,...,x_n+h) = F_{\X_1,...,\X_n}(x_1,...,x_n),~\forall (x_1,...,x_n)\in\mathbb{R}^n$ + \item $\lim\limits_{x_i\rightarrow -\infty}(x_1,...,x_n) = 0~\forall i=1,...,n,$\\ + $\lim\limits_{x_1\rightarrow\infty}\cdots\lim\limits_{x_n\rightarrow\infty}F_{\X_1,...,\X_n}(x_1,...,x_n)=1$ + \end{itemize} \subsubsection{Diskrete Zufallsvariablen:} $p_{\X_1,\shdots,\X_n}(x_1,\shdots,x_n) = \P(\{\vec{\X} = \vec{x}\})$ (joint probability mass function) \subsubsection{Stetige Zufallsvariablen:} @@ -392,7 +401,7 @@ \section{Stochastische Standardmodelle} \subsection{Begriffe} \textbf{Gedächtnislos}\\ Eine Zufallsvariable X ist gedächtnislos, falls: \\ - $\P(\{\X > a + b)\} | \{\X > a\}) = \P(\{\X > b\})$, \qquad $a,b > 0$ + $\P(\{\X > a + b\} | \{\X > a\}) = \P(\{\X > b\})$, \qquad $a,b > 0$ \end{sectionbox} \begin{sectionbox} @@ -474,7 +483,8 @@ \section{Stochastische Standardmodelle} \begin{sectionbox} \subsection{Poisson-Verteilung ($\lambda \ge 0$)} Asymptotischer Grenzfall der Binomialverteilung\\ - $n \ra \infty, p \ra 0, np \ra \lambda$ \quad $p_{\X}(k) = \lim\limits_{n \ra \infty}{B_{n,\frac{\lambda}{n}}(k)}$\\[0.5em] + $n \ra \infty, p \ra 0, np \ra \lambda$ \quad $p_{\X}(k) = \lim\limits_{n \ra \infty}{B_{n,\frac{\lambda}{n}}(k)}$\\ + $\lambda$: mittlere Wahscheinlichkeit des Eintreten des Ereignisses von p\\[0.5em] \parbox{3.3cm}{\emph{WMF/PMF:} \\ $p_{\X}[k] = \frac{\lambda^k}{k!} e^{-\lambda}$ \qquad $k \in \N_0$\\ \includegraphics[width = 3.3cm]{img/poisson_pmf.pdf}} \parbox{3.3cm}{\emph{KVF/CDF:} \\ $F_{\X}[k] =$ zu kompliziert \\ \includegraphics[width = 3.3cm]{img/poisson_cdf.pdf}}\\ @@ -564,10 +574,15 @@ \section{Erwartungswert} \begin{emphbox} $\E [\X] = \underset{\text{diskrete} \X:\Omega \ra \Omega'}{\sum\limits_{x \in \Omega'} x \cdot \P_{\X}(x)} \quad \stackrel{\wedge}{=}\quad \underset{\text{stetige} \X: \Omega \ra \R}{\int \limits_{\R} x \cdot f_{\X} (x) \diff x}$ \end{emphbox} - Eigenschaften: + \textbf{Voraussetzung:}\\ + $\sum |x| P(\{\X=x\})<\infty$\\ + \textbf{Eigenschaften:} \begin{tablebox}{ll} + EW von Konstante: & + $E[\alpha] = \alpha$\\ Linearität: & $E[\alpha \X + \beta \Y] = \alpha E [\X] + \beta E[\Y]$ \\ + &$\Rightarrow E[\X-E[\X]] = 0$\\ Monotonie: & $\X \le \Y \Ra E[\X] \le E[\Y]$ \\ \end{tablebox} @@ -652,6 +667,7 @@ \subsection{Kovarianz} $\Cov [\X,\Y] = \E[(\X- \E[\X])(\Y - \E[\Y])] = \Cov [\Y, \X]$\\[0.5em] $\Cov [\X,\Y] = \E [\X\Y] - \E[\X] \E[\Y] = \Cov[\Y, \X]$ \end{emphbox} + \textbf{Voraussetzung:} $\exists E[\X],E[Y],E[XY]$ oder $\exists E[\X^2],E[\Y^2]$\\ $\Cov [\alpha \X + \beta, \gamma \Y + \delta] = \alpha \gamma \Cov [\X, \Y]$ \\ $\Cov [ \X + \textit U, \Y + \textit V] = \Cov [\X, \Y] + \Cov [\X, \textit V] + \Cov [\textit U, \Y] + \Cov [\textit U, \textit V]$ \\ \end{sectionbox} @@ -676,7 +692,7 @@ \subsection{Kovarianz} \begin{emphbox} $\E[\X\Y] = 0$ \end{emphbox} - mit dem Korrelationswert $\E[\X\Y]$ + mit dem Korrelationswert $ r_{\X,\Y} = \E[\X\Y]$ \end{sectionbox} @@ -689,6 +705,21 @@ \subsection{Kovarianz} \text{positiv korreliert} & \rho_{\mathsf{\X,\Y}}\in (0,1]\end{cases}$ \end{sectionbox} +\begin{sectionbox} + \subsection{Lineare Regression} + affine Abbildung $\hat{\Y} = \alpha \X + \beta$ mit Fehler $\varepsilon = \hat{\Y} - \Y$\\ + \textbf{Optimierungsproblem:} + \begin{emphbox} + $\min\limits_{\alpha,\beta} E[\varepsilon^2] = \min\limits_{\alpha,\beta} E\left[\left(\hat{\Y}-\Y\right)^2\right]$ + \end{emphbox} + \textbf{Lösung:}\\ + $\alpha = \dfrac{E[\X\Y]-E[\X]E[\Y]}{E[\X^2]-E[\X]^2} = \dfrac{c_{\X,\Y}}{\sigma^2_{\X}} = \dfrac{c_{\X,\Y}}{\sigma^2_{\X}}\dfrac{\sigma_{\Y}}{\sigma_{\Y}} = \rho_{\X,\Y}\dfrac{\sigma_{\Y}}{\sigma_{\X}}$\\ + $\beta = E[\Y] - \alpha E[\X] = E[\Y] - \rho_{\X,\Y}\dfrac{\sigma_{\Y}}{\sigma_{\X}}E[\X]$\\ + $\Rightarrow \hat{\Y} = \rho_{\X,\Y}\dfrac{\sigma_{\Y}}{\sigma_{\X}}(\X-E[\X])+E[\Y]$ + \textbf{Kleinster mittlerer quadratischer Fehler:}\\ + $\E[\varepsilon^2]=\sigma_{\Y}^2-c_{\Y,\X}\sigma^{-2}_{\X}c_{\X,\Y}=\sigma_{\Y}^2-c_{\X,\Y}^2\sigma_{\X}^{-2}=\sigma_{\Y}^2(1-\rho_{\X,\Y}^2)$ +\end{sectionbox} + %TODO: Lineare Regression hier einfügen @@ -727,26 +758,26 @@ \section{Erzeugende und charakter. Funktionen} \end{sectionbox} % Im WS2015/16 nicht Klausurrelevant -%\begin{sectionbox} -% \subsection{Momenterzeugende Funktion} % (fold) -% \label{sub:momenterzeugende_funktion} -% -% Mit $\X: \Omega \ra \mathbb R$ eine reelle ZV: \\ -% -% \boxed{ -% M_{\X} (s) = \E [e^{s \X}], \quad s \in \mathbb D = \eset{s \in \mathbb R }{\E [e^{s \X} < \infty]} -% }\\ -% -% -% Potenzreihenentwicklung (mit $s \in ]-a, a[$):\\ -% $M_{\X} (s) = \E [ e^{s \X}] = \E \left[\sum \limits_{k=0}^{\infty} \frac{s^k}{k!} \X^k\right] = \sum \limits_{k=0}^{\infty} \frac{s^k}{k!} \E\left[\X^k\right]$ -% -% Erwartungswert: -% $\E[\X^n] = \left[\frac{\diff^n}{\diff s^n} M_{\X} (s)\right]_{s=0}, \quad \forall n \in \mathbb N_0$ -% -% Summe von ZV: -% $M_{\Z} (s) = \prod \limits_{i = 1}^{n} M_{\X_i} (s)$ -%\end{sectionbox} +\begin{sectionbox} + \subsection{Momenterzeugende Funktion} % (fold) + \label{sub:momenterzeugende_funktion} + + Mit $\X: \Omega \ra \mathbb R$ eine reelle ZV: \\ + + \boxed{ + M_{\X} (s) = \E [e^{s \X}], \quad s \in \mathbb D = \eset{s \in \mathbb R }{\E [e^{s \X} < \infty]} + }\\ + + + Potenzreihenentwicklung (mit $s \in ]-a, a[$):\\ + $M_{\X} (s) = \E [ e^{s \X}] = \E \left[\sum \limits_{k=0}^{\infty} \frac{s^k}{k!} \X^k\right] = \sum \limits_{k=0}^{\infty} \frac{s^k}{k!} \E\left[\X^k\right]$ + + Erwartungswert: + $\E[\X^n] = \left[\frac{\diff^n}{\diff s^n} M_{\X} (s)\right]_{s=0}, \quad \forall n \in \mathbb N_0$ + + Summe von ZV: + $M_{\Z} (s) = \prod \limits_{i = 1}^{n} M_{\X_i} (s)$ +\end{sectionbox} % subsection momenterzeugende_funktion (end) \begin{sectionbox} @@ -786,7 +817,21 @@ \section{Erzeugende und charakter. Funktionen} \section{Reelle Zufallsfolgen} % ============================================================================================ \begin{sectionbox} - Eine reelle Zufallsfolge ist ganz einfach eine Folge reeller Zufallsvariablen. \\ \\ + Eine reelle Zufallsfolge ist ganz einfach eine Folge reeller Zufallsvariablen. \\ + $\X_n: \Omega \Rightarrow \mathbb{R},\quad n\in \mathbb{N}$\\ + \begin{tablebox}{lll} + &$\omega$ variabel + &$\omega$ gegeben + \\\cmrule + $n$ variabel + &\makecell[l]{$\X=(\X_n : n\in\mathbb{N})$\\(Zufallsfolge)} + &\makecell[l]{$x=\X(\omega) = (\X_n(\omega): n\in\mathbb{N})$\\(Musterfolge)} + \\ + $n$ gegeben + &\makecell[l]{$\X_n$\\(Zufallsvariable\\zum Folgenindex $n$)} + &\makecell[l]{$x_n=\X(\omega)$\\(Realisierung\\zum Folgenindex $n$)} + \end{tablebox} + \ \\ \textbf{Ensemble} \\ $\textsf{S}_n : \Omega_n \times \Omega_{n-1} \times \dots \times \Omega_1 \ra \R$\\ $(\omega_n,\omega_{n-1},\dots,\omega_1) \mapsto s_n(\omega_n,\omega_{n-1},\dots,\omega_1), \quad n \in \N$\\ @@ -823,7 +868,8 @@ \section{Reelle Zufallsfolgen} \begin{sectionbox} \subsection{Stationarität} - Eine Zufallsfolge ist \emph{stationär}, wenn um ein beliebiges $k$ $(k \in \N)$ zueinander verschobene Zufallsvektoren die selbe Verteilung besitzen.\\ + Eine Zufallsfolge ist \emph{stationär}, wenn um ein beliebiges $k$ $(k \in \N)$ zueinander verschobene Zufallsvektoren die selbe Verteilung besitzen:\\ + $F_{\X_{i_1},...,\X_{i_n}}(x_1,...,x_n) = F_{\X_{i_1+k},...,\X_{i_n+k}}(x_1,...,x_n)$\\ Im \emph{weiteren Sinne stationär (W.S.S.)}, wenn: \begin{tablebox}{@{\extracolsep\fill}lll@{}} $\mu_{\X}(i) = \mu_{\X}(i + k)$ \\ @@ -833,6 +879,27 @@ \section{Reelle Zufallsfolgen} stationär $\Ra$ WSS (aber nicht anders herum!) \end{sectionbox} +\begin{sectionbox} + \subsection{Konvergenz} + \textbf{Fast sicher (almost surely):}\\ + $\X_n \xrightarrow{\text{a.s.}} \X \Leftrightarrow P\left(\left\{\omega: \lim\limits_{n\rightarrow\infty}\X_n(\omega)=\X(\omega)\right\}\right)=1$\\ + \textbf{in Wahrscheinlichkeit (in probability):}\\ + $\X_n\xrightarrow{\text{p.}}\X\Leftrightarrow \lim\limits_{n\rightarrow\infty}P(\{\omega : |\X_n(\omega) - X(\omega)|>\varepsilon\})=0$\\ + \textbf{im quadratischen Mittel (in the mean square sense):}\\ + $\X_n\xrightarrow{\text{m.s.}}\X\Leftrightarrow \lim\limits_{n\rightarrow\infty}E\left[(\X_n(\omega)-\X(\omega))^2\right]=0$\\ + \textbf{in Verteilung (in distribution):}\\ + $\X\xrightarrow{\text{d.}}\X\Leftrightarrow\lim\limits_{n\rightarrow\infty}F_{\X_n}(x)=F_{\X}(x)$\\ + \textbf{Zusammenhänge} + \begin{itemize} + \item $\X_n\xrightarrow{\text{a.s.}}\X \Rightarrow \X_n\xrightarrow{\text{p.}}\X$ + \item $\X_n\xrightarrow{\text{m.s.}}\X \Rightarrow \X_n\xrightarrow{\text{p.}}\X$ + \item $P(\{|\X_n|\leq\Y\}) = 1 \forall n \wedge E[Y^2]<\infty\wedge \X_n\xrightarrow{\text{p.}}\X \Rightarrow \X_n\xrightarrow{\text{m.s.}}\X$ + \item $\X_n\xrightarrow{\text{p.}}\X \Rightarrow \X_n\xrightarrow{\text{d.}}\X$ + \item $\X_n\xrightarrow{\text{a.s./p./m.s.}}\X \wedge \X_n\xrightarrow{\text{a.s./p./m.s.}}\Y\Rightarrow P(\{\X=\Y\})=1$ + \item $\X_n\xrightarrow{\text{d.}}\X \wedge \X_n\xrightarrow{\text{d.}}\Y\Rightarrow \X \text{und}\Y\text{haben die gleiche Verteilung}$ + \end{itemize} +\end{sectionbox} + \begin{sectionbox} \subsection{Markow-Ungleichung} \boxed{\P(\eset{\abs{\X} \ge a}) \le \frac{\E[|\X|]}{a} }