2. Wahrscheinlichkeitstheorie

2.0 Intro

A fundamental problem in combinatorics is determining the number of ways to choose k items from a set containing n distinct items. The method for counting depends on two crucial questions:

Does the order of selection matter? (Is the selection ordered or unordered?)
Can items be selected more than once? (Is the selection with replacement or without replacement?)

Selection Type	Replacement?	Order Matters?	Formula
Tuple	Yes	Yes	$n^{k}$
k-Permutation	No	Yes	$n^{\underline{k}} = \frac{n !}{( n - k )!}$
Combination / Set	No	No	$(k n) = \frac{n !}{k ! ( n - k )!}$
Multiset / Stars and Bars	Yes	No	$(k n + k - 1) = (n - 1 n + k - 1)$

2.0.1 Ordered Selection with Replacement - Tuples

Derivation: This uses the basic multiplication principle of counting. We have $k$ independent choices to make, and each choice has $n$ possibilities.

Total ways = (Choices for slot 1) $\times$ (Choices for slot 2) $\times \dots \times$ (Choices for slot k)
Total ways = $n \times n \times \dots \times n$ ( $k$ times)

Formula: The number of ways is $n^{k}$ . We get an ordered list of length $k$ , often called a tuple.

Possible 4-digit PIN codes using digits 0-9 ( $n = 10, k = 4$ ): $1 0^{4} = 10000$ .
Possible outcomes when rolling a die 3 times ( $n = 6, k = 3$ ): $6^{3} = 216$ . (e.g., (1, 6, 1) is different from (6, 1, 1)).

2.0.2 Ordered Selection without Replacement - k-Permutations

Think of filling $k$ ordered slots.

For the first slot, we have $n$ choices.
Since we cannot replace the chosen item, we only have $n - 1$ choices remaining for the second slot.
For the third slot, we have $n - 2$ choices, and so on, until the $k$ -th slot, for which we have $n - (k - 1) = n - k + 1$ choices.

Derivation: Using the multiplication principle with decreasing choices:

Total ways = (Choices for slot 1) $\times$ (Choices for slot 2) $\times \dots \times$ (Choices for slot k)
Total ways = $n \times (n - 1) \times (n - 2) \times \dots \times (n - k + 1)$

Formula: This quantity is often denoted as $n^{\underline{k}}$ (falling factorial) or $P (n, k)$ . It can also be expressed using factorials:

$n^{\underline{k}} = \frac{n !}{( n - k )!}$
Recall that $n! = n \times (n - 1) \times \dots \times 2 \times 1$ .

Result Type: An ordered list of $k$ distinct items, often called a k-permutation of $n$ .

Ways to award Gold, Silver, Bronze medals in a race with 8 competitors ( $n = 8, k = 3$ ): $8^{\underline{3}} = 8 \times 7 \times 6 = 336$ .
Ways to arrange 3 distinct books from a collection of 5 on a shelf ( $n = 5, k = 3$ ): $5^{\underline{3}} = 5 \times 4 \times 3 = 60$ .

2.0.3 Unordered Selection without Replacement - Combinations / Sets

Intuition: How is this related to the ordered case without replacement (Case 2)? In Case 2, we counted sequences like (A, B, C) and (C, B, A) as distinct outcomes. However, if the order doesn’t matter, these sequences correspond to the same selection: the set ${A, B, C}$ . We need to figure out how many ordered sequences correspond to each unordered set.

Derivation:

Start with the ordered count: $n^{\underline{k}} = \frac{n !}{( n - k )!}$ ordered ways to select $k$ distinct items.
Identify overcounting: There are $k!$ ways to order $k$ distinct items (k choices for the first position, k-1 for the second, etc.).
Correct for overcounting: Divide the ordered count by the overcounting factor $k!$

Formula: Number of unordered sets = $\frac{Number of ordered sequences}{Number of ways to order each set} = \frac{n ^{\underline{k}}}{k !}$
This is the binomial coefficient, read as “n choose k”:

$(k n) = \frac{n ^{\underline{k}}}{k !} = \frac{n !}{k ! ( n - k )!}$

Symmetry of Combinations

Note that $(k n) = (n - k n)$ .
Choosing $k$ items to include is the same as choosing $n - k$ items to exclude.

Result Type: An unordered set of $k$ distinct items, often called a combination.
Examples:

Ways to choose 3 winners from 10 lottery tickets (order doesn’t matter) ( $n = 10, k = 3$ ): $(3 10) = \frac{10 \times 9 \times 8}{3 \times 2 \times 1} = 120$ .
Ways to form a 5-card poker hand from a 52-card deck ( $n = 52, k = 5$ ): $(5 52) = \frac{52 !}{5 ! 47 !} = 2, 598, 960$ .

4. Unordered Selection with Replacement - Multisets / Stars and Bars

Intuition: $n$ bins, representing the $n$ distinct types of items we can choose from. Choose a total of $k$ items.
Since order doesn’t matter and we can repeat types, this is like deciding how many times we choose type 1, how many times type 2, …, up to type $n$ , such that the total number of choices is $k$ .

Derivation (Stars and Bars technique):

Represent Choices: Let $k$ “stars” $(*)$ represent the $k$ items we need to choose. Our goal is to divide these stars into $n$ groups, where each group corresponds to one of the $n$ types of items.
Represent Dividers: To divide the stars into $n$ groups, we need $n - 1$ “bars” (|). For example, if we have $n = 4$ types and want to choose $k = 5$ items, the sequence **|*||** could represent choosing 2 items of type 1, 1 item of type 2, 0 items of type 3, and 2 items of type 4.
Combine Stars and Bars: Every possible selection corresponds uniquely to an arrangement of $k$ stars and $n - 1$ bars in a sequence.
Counting Arrangements: We have a total of $k + (n - 1)$ positions in the sequence. We need to determine where the $k$ stars (or equivalently, the $n - 1$ bars) go.
Apply Combination Formula: This is now a combination problem (Case 3)! We need to choose $k$ positions for the stars out of the $k + n - 1$ total positions. The number of ways to do this is $(k k + n - 1)$ . Alternatively, we could choose $n - 1$ positions for the bars out of the $k + n - 1$ total positions, which gives $(n - 1 k + n - 1)$ . These two binomial coefficients are equal.

Formula: $(k n + k - 1) = (n - 1 n + k - 1)$ We get an unordered collection where repetitions are allowed, often called a multiset.

Examples:

Ways to choose 3 scoops of ice cream from 5 available flavours ( $n = 5, k = 3$ ): $(3 5 + 3 - 1) = (3 7) = \frac{7 \times 6 \times 5}{3 \times 2 \times 1} = 35$ .
Number of non-negative integer solutions to $x_{1} + x_{2} + x_{3} = 10$ ( $n = 3$ types/variables, $k = 10$ total value/items): $(10 3 + 10 - 1) = (10 12) = (2 12) = \frac{12 \times 11}{2} = 66$ .

2.1 Grundbegriffe & Notationen

2.1 Diskreter Wahrscheinlichkeitsraum

Ein diskreter Wahrscheinlichkeitsraum ist bestimmt durch eine Ergebnismenge $Ω = {ω_{1}, ω_{2}, ...}$ von Elementarereignissen.
Jedem Elementarereignis $ω_{i}$ ist eine (Elementar-)Wahrscheinlichkeit $Pr [ω_{i}]$ zugeordnet, wobei wir fordern, dass $0 \leq Pr [ω_{i}] \leq 1$ und
$ω \in Ω \sum Pr [ω] = 1$

$Ω$ kann endlich oder unendlich (sogar überabzählbar unendlich) sein.

Ereignis

Eine Menge $E \subseteq Ω$ heisst Ereignis. Die Wahrscheinlichkeit $P r [E]$ eines Ereignisses ist definiert durch
$Pr [E] := ω \in E \sum Pr [ω]$

Komplementärereignis

Ist $E$ ein Ereignis, so bezeichnen wir mit $\overline{E} := Ω ∖ E$ das Komplementärereignis.

2.2 Funamental Properties

$Pr [\emptyset] = 0$ , $Pr [Ω] = 1$

$0 \leq Pr [A] \leq 1$

$Pr [\overline{A}] = 1 - Pr [A]$

Wenn $A \subseteq B$ so folgt $Pr [A] \leq Pr [B]$

Für paarweise disjunkte Ereignisse gilt der folgende Satz.

2.3 Additionssatz

Wenn für die Ereignisse $A_{1}, \dots, A_{n}$ paarweise disjunkt sind, so gilt
$Pr [i = 1 ⋃ n A_{i}] = i = 1 \sum n Pr [A_{i}]$

Im allgemeinen Fall können wir mit der Siebformel arbeiten.

2.5 Siebformel

Für Ereignisse $A_{1}, \dots, A_{n}$ ( $n \geq 2$ ) gilt
$Pr [i = 1 ⋃ n A_{i}] = l = 1 \sum n (- 1)^{l + 1} 1 \leq i_{1} \leq \dots \leq i_{l} \leq n \sum P r [A_{i_{1}} \cap \dots \cap A_{i_{l}}]$

Der Union-Bound (Boolsche Ungleichung) wird öfters genutzt, da er einfacher anzuwenden ist. Er folgt direkt aus der Siebformel.

Boolsche Ungleichung

Für Ereignisse $A_{1}, \dots, A_{n}$ gilt
$Pr [i = 1 ⋃ n A_{i}] \leq i = 1 \sum n Pr [A_{i}]$

Beweis:

Sei $B_{i} := A_{i} ∖ (A_{1} \cup \dots \cup A_{i - 1})$
Dann gilt $Pr [B_{i}] \leq Pr [A_{i}]$ (weil $B_{i} \subseteq A_{i}$ )
Alle $B_{i}, B_{j}$ sind disjunkt und $⋃_{i = 1}^{n} A_{i} = ⋃_{i = 1}^{n} B_{i}$
Per Additionssatz (weil alle $B_{i}$ disjunkt) gilt

Pr [i = 1 ⋃ n A_{i}] = Pr [i = 1 ⋃ n B_{i}] = \sum Pr [B_{i}] \leq i = 1 \sum n Pr [A_{i}]

Laplace Raum

In einem Laplace-Raum sind alle Elementarereignisse gleich wahrscheinlich. Deswegen gilt $Pr [E] = \frac{∣ E ∣}{∣Ω∣}$ .

$Ω$ wird dann uniform verteilt genannt.

Man sagt auch, dass $Pr [ω] = 1/∣Ω∣$ für alle $ω$ die größtmögliche Entropie hat.

2.2 Bedingte Wahrscheinlichkeiten

Durch das Bekanntwerden zusätzlicher Information verändern sich Wahrscheinlichkeiten.

Wir notieren $Pr [A ∣ B]$ die Wahrscheinlichkeit von $A$ , wenn wir wissen, dass $B$ eingetreten ist.

Es gilt dann:

$Pr [B ∣ B] = 1$ und $Pr [B ∣ \overline{B}]$
$Pr [A ∣ Ω] = Pr [A]$ da ” $Ω$ ist eingetreten” keine extra Information liefert.
Wenn $B$ eingetreten ist, kann nur noch $Pr [A \cap B]$ eintreten. Daher ist $Pr [A ∣ B]$ proportional zu $Pr [A \cap B]$

2.8 Bedingte Wahrscheinlichkeit

$A$ und $B$ seien Ereignisse mit $Pr [B] > 0$ . Die bedingte Wahrscheinlichkeit $Pr [A ∣ B]$ von $A$ gegeben $B$ ist definiert durch
$Pr [A ∣ B] := \frac{Pr [ A \cap B ]}{Pr [ B ]}$

Die bedingten Wahrscheinlichkeiten $Pr [\circ ∣ B]$ bilden einen neuen Wahrscheinlichkeitsraum. Es gilt $\sum_{ω \in Ω} Pr [ω ∣ B]$ $= \sum_{ω \in Ω} \frac{P r [ ω \cap B ]}{P r [ B ]} = \sum_{ω \in B} \frac{P r [ ω ]}{P r [ B ]}$ $= \frac{P r [ B ]}{P r [ B ]} = 1$ .
Damit gelten alle Rechenregeln auch für bedingte Wahrscheinlichkeiten, z.B.

$Pr [\emptyset∣ B] = 0$
$Pr [\overline{A} ∣ B] = 1 - Pr [A ∣ B]$

Die Wahrscheinlichkeiten für alle Ereignisse $ω \in \overline{B}$ (außerhalb $B$ ) werden auf $0$ gesetzt. Der Rest wird dann skaliert, damit die Summe wieder $1$ ergibt (mit $1/ Pr [B]$ , welcher in der Formel auftaucht).

2.10 Multiplikationssatz

Seien die Ereignisse $A_{1}, \dots, A_{n}$ gegeben. Falls $Pr [A_{1} \cap \dots \cap A_{n}] > 0$ ist, gilt
$Pr [A_{1} \cap \dots \cap A_{n}] = Pr [A_{1}] \cdot Pr [A_{2} ∣ A_{1}] \cdot Pr [A_{3} ∣ A_{1} \cap A_{2}] \dots Pr [A_{n} ∣ A_{1} \cap \dots \cap A_{n - 1}]$

Beweis

Da $Pr [A_{1}] \geq Pr [A_{1} \cap A_{2}] \geq \dots \geq Pr [A_{1} \cap \dots \cap A_{n}] > 0$ sind alle W’keiten wohldefiniert
Wir schreiben um zu

\frac{Pr [ A _{1} ]}{1} \cdot \frac{Pr [ A _{1} \cap A _{2} ]}{Pr [ A _{1} ]} \cdot \frac{Pr [ A _{1} \cap A _{2} \cap A _{3} ]}{Pr [ A _{1} \cap A _{2} ]} \dots \frac{Pr [ A _{1} \cap \dots \cap A _{n} ]}{Pr [ A _{1} \cap \dots \cap A _{N - 1} ]}

man sieht leicht dass sich hier kreuzweise alles bis auf $Pr [A_{1} \cap \dots \cap A_{n}]$ herauskürzt.

2.13 Satz von der totalen W'keit

Die Ereignisse $A_{1}, \dots, A_{n}$ seien paarweise disjunkt und es gelte $B \subseteq A_{1} \cup \dots \cup A_{n}$ . Dann folgt
$Pr [B] = i = 1 \sum n Pr [B ∣ A_{i}] \cdot Pr [A_{i}]$

Proof

$B = (B \cap A_{1}) \cup \dots \cup (B \cap A_{n})$ da $B \subseteq A ....$ ist.
Da alle $A_{X}$ disjunkt sind, sind auch $B \cap A_{i}$ und $B \cap A_{j}$ disjunkt.
Dann gilt $Pr [B \cap A_{i}] = Pr [B ∣ A_{i}] \cdot Pr [A_{i}]$
Wir wenden den Additionssatz an

Pr [B] = Pr [B \cap A_{1}] + \dots + Pr [B \cap A_{n}] = Pr [B ∣ A_{1}] \cdot Pr [A_{1}] + \dots + Pr [B ∣ A_{n}] \cdot Pr [A_{n}]

2.15 Satz von Bayes

Die Ereignisse $A_{1}, \dots, A_{n}$ seien paarweise disjunkt. Ferner sei $B \subseteq A_{1} \cup \dots \cup A_{n}$ ein Ereignis $Pr [B] > 0$ .
Dann gilt für ein beliebiges $i = 1, \dots, n$ :
$Pr [A_{i} ∣ B] = \frac{Pr [ A _{i} \cap B ]}{Pr [ B ]} = \frac{Pr [ B ∣ A _{i} ] \cdot Pr [ A _{i} ]}{\sum _{j = 1}^{n} Pr [ B ∣ A _{j} ] \cdot Pr [ A _{j} ]}$

Wir können mit dem Satz von Bayes gewissermaßen die Reihenfolge der Bedingung umdrehen.

2.3 Unabhängigkeit

2.18 Unabhängigkeit (2 Ereignisse)

Die Ereignisse $A$ und $B$ heißen unabhängig, wenn gilt
$Pr [A \cap B] = Pr [A] \cdot Pr [B]$

Wenn $Pr [B] \neq = 0$ so können wir Umformen zu $Pr [A] = \frac{P r [ A \cap B ]}{P r [ B ]} = Pr [A ∣ B]$ .

Intuitiv, wenn wir wissen, dass $A$ eingetreten ist so ändert sich nichts an der Wahrscheinlichkeit mit der wir $C$ erwarten.

Für mehr als 2 Ereignisse wird die Definition etwas komplexer:

Beispiel: Wir werfen zwei ideale Münzen $M_{1}$ und $M_{2}$ : $Ω := {(K, K), (K, Z), (Z, K), (Z, Z)}$ , $Pr [A] = 1/4$ .

A B C := " M_{1} zeigt Kopf" = {(K, K), (K, Z)} := " M_{2} zeigt Kopf" = {(K, K), (Z, K)} := "die Resultate sind verschieden" = {(K, Z), (Z, K)} .

-  $A$ und $B$ voneinander unabhängig, denn $\Pr[A \cap B] = 1/4 = \Pr[A]\Pr[B].$
- $B$ und $C$ voneinander unabhängig
- genauso $A$ und $C$

- Allerdings sind $A$, $B$, und $C$ *zusammen nicht voneinander unabhängig*, denn falls je zwei Ereignisse eintreten, *so tritt auf keinen Fall das Dritte ein*, also insbesondere $\Pr[A \cap B \cap C] = 0 \neq 1/8 = \Pr[A]\Pr[B]\Pr[C]$.
- Die *paarweise Unabhängigkeit der Ereignisse* genügt nicht -> $\Pr[A_1 \cap \cdots \cap A_n] = \Pr[A_1] \cdots \Pr[A_n]$ muss auch gelten

2. Beispiel: Wir wählen eine zufällige Zahl zwischen 1 und 8 und betrachten die Ereignisse $A := "die Zahl ist in {1, 2, 3, 4} "$ und $B := "die Zahl ist in {1, 5, 6, 7} "$ . Außerdem sei $C = B$ .

Pr [A \cap B \cap C] = Pr [A \cap B] = 1/8 = Pr [A] Pr [B] Pr [C],

- Aber $\Pr[A \cap B] = 1/8 \neq \Pr[A]\Pr[B]$, das heißt, $A$ und $B$ sind nicht unabhängig.

Wir brauchen also beide Bedingungen gleichzeitig.

Definition 2.22 (Unabhängigkeit von $n$ Ereignissen)

Die Ereignisse $A_{1}, \dots, A_{n}$ heissen unabhängig, wenn für alle Teilmengen $I \subseteq {1, \dots, n}$ mit $I = {i_{1}, \dots, i_{k}}$ gilt, dass
$Pr [A_{i_{1}} \cap \dots \cap A_{i_{k}}] = Pr [A_{i_{1}}] \dots Pr [A_{i_{k}}]$

Eine unendliche Familie von Ereignissen $A_{i}$ mit $i \in N$ heißt unabhängig, wenn dies für jede endliche Teilmenge $I \subseteq N$ erfüllt ist.

Lemma 2.23

Die Ereignisse $A_{1}, \dots, A_{n}$ sind genau dann unabhängig, wenn für alle $(s_{1}, \dots, s_{n}) \in {0, 1}^{n}$ gilt, dass
$Pr [A_{1}^{s_{1}} \cap \dots \cap A_{n}^{s_{n}}] = Pr [A_{1}^{s_{1}}] \dots Pr [A_{n}^{s_{n}}]$
wobei $A_{i}^{0} = \overset{ˉ}{A}_{i}$ und $A_{i}^{1} = A_{i}$ .

Beobachtung: Aus Lemma 2.23 folgt, dass für $A$ und $B$ unabhängig auch $\overline{A}$ , $B$ oder $A$ , $\overline{B}$ und $\overline{A}$ , $\overline{B}$ unabhängig sind.

Lemma 2.24

Seien $A$ , $B$ und $C$ unabhängige Ereignisse. Dann sind auch $A \cap B$ und $C$ bzw. $A \cup B$ und $C$ unabhängig.

Beweis: Die Unabhängigkeit von $A \cap B$ und $C$ folgt aus $Pr [(A \cap B) \cap C] = Pr [A] Pr [B] Pr [C] = Pr [A \cap B] Pr [C]$ . Mit der Inklusion-Exklusion-Formel gilt:

Pr [(A \cup B) \cap C] = Pr [(A \cap C) \cup (B \cap C)] = Pr [A \cap C] + Pr [B \cap C] - Pr [A \cap B \cap C] = Pr [C] \cdot (Pr [A] + Pr [B] - Pr [A \cap B]) = Pr [A \cup B] \cdot Pr [C],

und daraus folgt die Unabhängigkeit von $A \cup B$ und $C$ .

2.4 Zufallsvariablen

Definition 2.25 (Zufallsvariable)

Eine Zufallsvariable ist ein Abbildung $X : Ω \to R$ , wobei $Ω$ die Ergebnismenge eines Wahrscheinlichkeitsraumes ist.

Wertebereich einer Zufallsvariable

Bei diskreten Wahrscheinlichkeitsräumen ist der Wertebereich einer Zufallsvariablen
$W_{X} := X (Ω) = {x \in R ∣ \exists ω \in Ω mit X (ω) = x}$

Sei $W_{X} = {x_{1}, \dots, x_{n}}$ bzw. $W_{X} = {x_{1}, x_{2}, \dots}$
Für ein beliebiges $1 \leq i \leq n$ sei das Ereignis $X^{- 1} (x_{i}) = {ω \in Ω ∣ X (ω) = x_{i}}$ (wir drehen hier quasi um).
Beachte, $X^{- 1} (x_{i})$ schreibt man häufig als $" X = x_{i} "$ .

Pr [" X \leq x_{i} "] = x \in W_{X} : x \leq x_{i} \sum Pr [" X = x "] = Pr [{ω \in Ω ∣ X (ω) \leq x_{i}}] .

Dichefunktion

Die Funktion
$f_{X} : R \to [0, 1], x \mapsto Pr [X = x]$
nennt man Dichte(funktion) von $X$ .

Verteilungsfunktion

Die Funktion
$F_{X} : R \to [0, 1], x \mapsto Pr [X \leq x] = x^{'} \in W_{X} : x^{'} \leq x \sum Pr [X = x^{'}]$
heisst Verteilung(sfunktion) von $X$ .

Beachte, Dichte/Verteilungsfunktion beschreiben eine Zufallsvariable eindeutig.

2.4.1 Erwartungswert

Definition 2.27 (Erwartungswert)

Zu einer Zufallsvariablen $X$ definieren wir den Erwartungswert $E [X]$ durch
$E [X] := x \in W_{X} \sum x \cdot Pr [X = x]$

Beachte, bei unendlichen Wahrscheinlichkeitsräumen kann diese Serie divergieren. Dann sagen wir, dass der Erwartungswert undefiniert ist.

Beispiel: Der Erwartungswert $E [Y]$ für die Anzahl “Kopf” bei dreimaligen Werfen einer idealen Münze ist

E [Y] = i = 0 \sum 3 i \cdot Pr [Y = i] = 1 \cdot Pr [Y = 1] + 2 \cdot Pr [Y = 2] + 3 \cdot Pr [Y = 3] = 1 \cdot \frac{3}{8} + 2 \cdot \frac{3}{8} + 3 \cdot \frac{1}{8} = \frac{3}{2},

Lemma 2.29

Ist $X$ eine Zufallsvariable, so gilt:
$E [X] = ω \in Ω \sum X (ω) \cdot Pr [ω]$

Beweis:

E (X) = α \in W_{x} \sum α \cdot Pr [X = α] = α \in W_{x} \sum α \cdot ω \in Ω X (ω) = α \sum Pr [ω] = ω \in Ω \sum X (ω) \cdot Pr [ω]

Wir gewichten die Wahrscheinlichkeit mit dem Wert.

Satz 2.30

Sei $X$ eine Zufallsvariable mit $W_{X} \subseteq N_{0}$ . Dann gilt
$E [X] = i = 1 \sum \infty Pr [X \geq i] .$

Beweis: Nach Definition gilt

E [X] = i = 0 \sum \infty i \cdot Pr [X = i] = i = 0 \sum \infty j = 1 \sum i Pr [X = i] = j = 1 \sum \infty i = j \sum \infty Pr [X = i] = j = 1 \sum \infty Pr [X \geq j]

Bedinge Zufallsvariablen

Sei $X$ Zufallsvariable und $A$ , $Pr [A] > 0$ . Es gilt dann:
$Pr [(X ∣ A) \leq x] = Pr [X \leq x ∣ A] = \frac{Pr [{ ω \in A : X ( ω ) \leq x }]}{Pr [ A ]}$

$X ∣ A$ : Wahrscheinlichkeiten, mit denen die Zufallsvariable $X$ bestimmte Werte annimmt bezüglich der auf $A$ bedingten Wahrscheinlichkeiten berechnen.

Satz 2.32

Sei $X$ eine Zufallsvariable. Für paarweise disjunkte Ereignisse $A_{1}, \dots, A_{n}$ mit $A_{1} \cup \dots \cup A_{n} = Ω$ und $Pr [A_{1}], \dots, Pr [A_{n}] > 0$ gilt
$E [X] = i = 1 \sum n E [X ∣ A_{i}] \cdot Pr [A_{i}] .$
Der Satz gilt auch für unendlich viele Ereignisse.

Beweis. Mit Hilfe des Satzes von der totalen Wahrscheinlichkeit rechnen wir nach, dass

E [X] = x \in W_{X} \sum x \cdot Pr [X = x] = x \in W_{X} \sum x \cdot i = 1 \sum n Pr [X = x ∣ A_{i}] \cdot Pr [A_{i}] = i = 1 \sum n Pr [A_{i}] \cdot x \in W_{X} \sum x \cdot Pr [X = x ∣ A_{i}] = i = 1 \sum n Pr [A_{i}] \cdot E [X ∣ A_{i}] .

Seien $X_{1}, \dots, X_{n} : Ω \to R$ Zufallsvariablen. Für $ω \in Ω$ erhalten wir daher $n$ reelle Zahlen $X_{1} (ω), \dots, X_{n} (ω)$ .
Sei $f$ eine Funktion $f : R^{n} \to R$ ( $n$ reellen Zahlen wieder eine einzige reelle Zahl) dann ist $f (X_{1}, \dots, X_{n})$ wiederum eine Zufallsvariable: $f (X_{1}, \dots, X_{n}) : Ω \to R$ .

Für beliebige Funktionen $f : R^{n} \to R$ und insbesondere auch für affin lineare Funktionen:

f : R^{n} (x_{1}, \dots, x_{n}) \to R \mapsto a_{1} x_{1} + \dots + a_{n} x_{n} + b,

Wir schreiben dann $X := a_{1} X_{1} + \dots + a_{n} X_{n} + b$ .

Beispiel: Recursive Definition

Let $X$ = number of flips until first heads with $Pr [heads] = p$ . Define $K_{1}$ = “first flip is heads.”
Apply total expectation conditioned on $K_{1}$ :
- $E [X ∣ K_{1}] = 1$ (done immediately)
- $E [X ∣ \overset{ˉ}{K}_{1}] = 1 + E [X]$ (memoryless: after tails, the process restarts identically, plus the one spent flip)
Plugging into $E [X] = 1 \cdot p + (1 + E [X]) (1 - p)$ and solving yields $E [X] = 1/ p$ .
This avoids computing $\sum k \cdot (1 - p)^{k - 1} p$ directly. Technique generalizes to any renewal-type problem where failure resets the process.

Satz 2.33 (Linearität des Erwartungswerts)

Für Zufallsvariablen $X_{1}, \dots, X_{n}$ und $X := a_{1} X_{1} + \dots + a_{n} X_{n} + b$ mit $a_{1}, \dots, a_{n}, b \in R$ gilt
$E [X] = a_{1} E [X_{1}] + \dots + a_{n} E [X_{n}] + b .$

Der Erwartungswert einer Summe ist die Summe der Erwartungswerte.

Beweis Lemma 2.29 sag $E [X] = \sum_{ω \in Ω} X (ω) \cdot Pr [ω]$ . Dann gilt:

E [X] = ω \in Ω \sum (a_{1} \cdot X_{1} (ω) + \dots + a_{n} \cdot X_{n} (ω) + b) \cdot Pr [ω] = a_{1} \cdot ω \in Ω \sum X_{1} (ω) \cdot Pr [ω] + \dots + a_{n} \cdot ω \in Ω \sum X_{n} (ω) \cdot Pr [ω] + b = a_{1} \cdot E [X_{1}] + \dots + a_{n} \cdot E [X_{n}] + b .

Hier haben wir außerdem benutzt, dass $\sum_{ω \in Ω} Pr [ω] = 1$ (für $\sum_{ω \in Ω} b \cdot Pr [ω]$ ).

Beobachtung 2.35 (Indikatorvariable)

Für ein Ereignis $A \subseteq Ω$ ist die zugehörige Indikatorvariable $X_{A}$ definiert durch:
$X_{A} (ω) := {1, 0, falls ω \in A sonst.$
Für den Erwartungswert von $X_{A}$ gilt: $E [X_{A}] = Pr [A]$

2.4.2 Varianz

Definition 2.39 (Varianz)

Für eine Zufallsvariable $X$ mit $μ = E [X]$ definieren wir die Varianz $Var [X]$ durch
$Var [X] := E [(X - μ)^{2}] = x \in W_{X} \sum (x - μ)^{2} \cdot Pr [X = x] .$
Die Grösse $σ := Var [X]$ heisst Standardabweichung von $X$ .

Satz 2.40

Für eine beliebige Zufallsvariable $X$ gilt
$Var [X] = E [X^{2}] - E [X]^{2} .$

Beweis: Sei $μ := E [X]$ .

Nach Definition gilt $Var [X] = E [(X - μ)^{2}] = E [X^{2} - 2 μ \cdot X + μ^{2}]$
Aus der Linearität des Erwartungswertes (Satz 2.33) folgt

E [X^{2} - 2 μ \cdot X + μ^{2}] = E [X^{2}] - 2 μ \cdot E [X] + μ^{2}

Damit erhalten wir

Var [X] = E [X^{2}] - 2 μ \cdot E [X] + μ^{2} = E [X^{2}] - E [X]^{2}

Satz 2.41

Für eine beliebige Zufallsvariable $X$ und $a, b \in R$ gilt
$Var [a \cdot X + b] = a^{2} \cdot Var [X]$

Beweis:

$Var [X + b] = E [(X + b - E [X + b])^{2}] = E [(X - E [X])^{2}] = Var [X]$
Mit Hilfe von $Var [X] = E [X^{2}] - E [X]^{2}$ erhalten wir $Var [a \cdot X] = E [(a X)^{2}] - E [a X]^{2} = a^{2} E [X^{2}] - (a E [X])^{2} = a^{2} \cdot Var [X]$

Definition 2.42 (Momente)

Für eine Zufallsvariable $X$ nennen wir $E [X^{k}]$ das $k$ -te Moment und $E [(X - E [X])^{k}]$ das $k$ -te zentrale Moment.

Der Erwartungswert ist also das erste Moment.

Niklas @ ETHZ

Explorer

2. Wahrscheinlichkeitstheorie

2.0 Intro

2.0.1 Ordered Selection with Replacement - Tuples

2.0.2 Ordered Selection without Replacement - k-Permutations

2.0.3 Unordered Selection without Replacement - Combinations / Sets

4. Unordered Selection with Replacement - Multisets / Stars and Bars

2.1 Grundbegriffe & Notationen

2.2 Bedingte Wahrscheinlichkeiten

2.3 Unabhängigkeit

2.4 Zufallsvariablen

2.4.1 Erwartungswert

2.4.2 Varianz

Graph View

Table of Contents

Backlinks