mirror of
https://github.com/eddyem/lectures.git
synced 2025-12-06 02:35:18 +03:00
320 lines
10 KiB
TeX
320 lines
10 KiB
TeX
\documentclass[10pt,pdf,hyperref={unicode}]{beamer}
|
||
\hypersetup{pdfpagemode=FullScreen}
|
||
\usepackage{lect}
|
||
|
||
\title[Компьютерная обработка. Лекция 2]{Компьютерная обработка результатов измерений}
|
||
\subtitle{Лекция 2. Статистика и вероятность. Случайные величины и распределения}
|
||
\date{12 июля 2016 года}
|
||
|
||
\begin{document}
|
||
% Титул
|
||
\begin{frame}
|
||
\maketitle
|
||
\end{frame}
|
||
% Содержание
|
||
\begin{frame}
|
||
\tableofcontents
|
||
\end{frame}
|
||
|
||
\section{Случайные величины, вероятность}
|
||
\begin{frame}{Случайные величины, вероятность}
|
||
\begin{defin}
|
||
\ж Случайной величиной\н называется величина~$X$, если все ее возможные значения образуют конечную
|
||
или бесконечную последовательность чисел~$x_1,\ldots$, $x_N$, и если принятие ею каждого из этих
|
||
значений есть случайное событие.
|
||
\end{defin}
|
||
\begin{defin}\begin{columns}\column{0.75\textwidth}
|
||
\ж Вероятность\н наступления данного события~--- это предел относительной частоты наступления
|
||
данного события~$n_k/N$:\column{0.25\textwidth}
|
||
$$P(x_k)=\lim_{N\to\infty}\frac{n_k}{N}.$$
|
||
\end{columns}
|
||
\end{defin}
|
||
\begin{block}{}
|
||
Совместные и несовместные события, полная группа, свойства вероятности.
|
||
Для непрерывных случайных величин вводят понятие\ж плотности вероятности\н:
|
||
$$\rho(x)=\lim_{\Delta x\to 0}\frac{P(x<X<x+\Delta x)}{\Delta
|
||
x}=\frac{dP}{dx}.$$
|
||
$$P(x_1<X<x_2)=\Int_{x_1}^{x_2}\rho(x)\,dx.$$
|
||
\end{block}
|
||
\end{frame}
|
||
|
||
|
||
\section{Характеристики случайных величин}
|
||
\begin{frame}{Характеристики случайных величин}
|
||
\begin{block}{Независимые случайные величины}
|
||
$P(x_ny_n)=P(x_n)P(y_n)$.
|
||
\end{block}
|
||
\begin{block}{Среднее арифметическое и математическое ожидание}
|
||
$$\aver{X}=\frc1{N}\sum_{n=1}^N x_n,$$
|
||
$$M(X)\equiv\mean{X}=\lim_{N\to\infty}\frac1{N}\sum_{n=1}^N x_n\quad\text{и}\quad
|
||
M(X)=\Infint x\phi(x)\,dx.$$
|
||
\end{block}
|
||
\end{frame}
|
||
|
||
|
||
\begin{frame}{}
|
||
\begin{block}{Свойства математического ожидания}
|
||
\begin{itemize}\setlength{\itemsep}{2pt}
|
||
\item $\mean\const=\const$;
|
||
\item $\mean{\sum\C_n\cdot X_n}=\sum\C_n\cdot \mean{X_n}$,
|
||
где $\C_n$~-- постоянная величина;
|
||
\item $\mean{\prod X_n}=\prod \mean{X_n}$ (для независимых случайных величин);
|
||
\item $\mean{f(x)}=\Infint f(x)\phi(x)\,dx$ (для непрерывных случайных величин).
|
||
\end{itemize}
|
||
\end{block}
|
||
\begin{block}{$\mean{X}\Leftrightarrow\aver{X}$? Закон больших чисел}
|
||
Неравенство Чебыш\"ева: $P(|X-\mean{X}|<\epsilon)\ge 1-D(X)/\epsilon^2\quad\Rightarrow$
|
||
$$\lim_{n\to\infty} P\Bigl(\Bigl|\frac{\sum
|
||
X_n}{n}-\frac{\sum\mean{X_n}}{n}\Bigr|<\epsilon\Bigr)=1.$$
|
||
Теорема Бернулли: $\lim\limits_{n\to\infty} P(|m/n-p|<\epsilon)=1$.
|
||
\end{block}
|
||
\end{frame}
|
||
|
||
\begin{frame}{Характеристические значения распределений}
|
||
\only<1>{\begin{block}{Медиана и мода}
|
||
{\ж Мода}~--- наиболее часто встречающееся значение (но вполне могут быть мультимодальные
|
||
распределения). {\ж Медиана} делит площадь распределения пополам.
|
||
\end{block}
|
||
\img[0.6]{mode_median}}
|
||
\only<2>{\begin{block}{Моменты}
|
||
Если $f(x)=(x-x_0)^n$, то $\mean{f(x)}$~--- момент порядка~$n$. Если $x_0=0$~--- начальный
|
||
момент, если $x_0=\mean{X}$--- центральный момент.
|
||
|
||
Моменты нулевого порядка равны~1, начальный момент первого порядка равен математическому ожиданию
|
||
случайной величины; центральный момент первого порядка равен нулю.
|
||
|
||
Центральный момент второго порядка называют\ж дисперсией\н: $D(X)=\mean{(x-\mean{x})^2}\equiv
|
||
\mean{x^2}-\mean{x}^2$, $\sigma=\sqrt{D}$.
|
||
|
||
\smallskip
|
||
|
||
Свойства дисперсии:
|
||
\begin{itemize}
|
||
\item $D(\const)=0$;
|
||
\item $D(\const X)=C^2 D(X)$, где $\C$~-- постоянная величина;
|
||
\item $D(\sum X_n)=\sum D(X_n)$.
|
||
\end{itemize}
|
||
\end{block}
|
||
}
|
||
\end{frame}
|
||
|
||
\section{Законы распределения}
|
||
\begin{frame}{Законы распределения}
|
||
\begin{defin}
|
||
\ж Закон распределения\н \к дискретной\н случайной величины~--- соответствие между возможными
|
||
значениями и их вероятностями.
|
||
\end{defin}
|
||
\begin{block}{Функция распределения}
|
||
$$F(x)\equiv P(X\le x)=\Int_{-\infty}^x\phi(x)\,dx, \qquad
|
||
\Infint\phi(x)\,dx=1.$$
|
||
$$P(a\le X\le b)=F(b)-F(a).$$
|
||
\end{block}
|
||
\end{frame}
|
||
|
||
\begin{frame}{Равномерное распределение}
|
||
\begin{columns}\column{0.45\textwidth}
|
||
\begin{block}{}
|
||
$$
|
||
\phi(x)=\begin{cases}\frac1{b-a}, & x\in [a,b] \\ 0, & x\not\in [a,b]
|
||
\end{cases}.
|
||
$$
|
||
$$F(x)= \begin{cases} 0, & x < a \\ \frac{x-a}{b-a}, & a \le x < b \\ 1, & x \ge
|
||
b \end{cases}.
|
||
$$
|
||
\end{block}\column{0.45\textwidth}
|
||
\begin{block}{}
|
||
$\mean{X}=\med(X)=(a+b)/2$, $\moda(X)=\forall x\in[a,b]$,
|
||
$\displaystyle\sigma^2_X = \frac{(b-a)^2}{12}$.
|
||
\end{block}
|
||
\end{columns}
|
||
|
||
\smimg[0.45]{Uniform_distribution_PDF}\hspace{3pt}
|
||
\smimg[0.45]{Uniform_distribution_CDF}
|
||
\end{frame}
|
||
|
||
\begin{lightframe}{Биномиальное распределение}
|
||
\vspace*{-0.8em}\begin{block}{}
|
||
\ж Формула Бернулли\н:
|
||
$\displaystyle P_n(k)=C_n^k p^k q^{n-k},\quad C_n^k=\frac{n!}{k!(n-k)!},\quad
|
||
q=1-p.$
|
||
$$(p+q)^n=C_n^n p^n+\cdots+C_n^k p^k q^{n-k}+\cdots+C_n^0 q^k.$$
|
||
Описывает вероятность наступления события~$k$
|
||
раз в~$n$ независимых испытаниях
|
||
\end{block}\vspace*{-1em}
|
||
\begin{columns}
|
||
\column{0.45\textwidth}
|
||
\img{Binomial_Distribution}
|
||
\column{0.55\textwidth}
|
||
\begin{block}{}
|
||
$$
|
||
F(k;n,p)=P(X\leq k)=\sum_{i=0}^\floor{k} C_n^i p^i(1-p)^{n-i}.$$
|
||
$\mean{X}=np$, $\moda(X)=\floor{(n+1)p}$, $\floor{np}\le\med(X)\le\ceil{np}$,
|
||
$\sigma^2_X = npq$.
|
||
\end{block}
|
||
\end{columns}
|
||
\end{lightframe}
|
||
|
||
\begin{frame}{Распределение Пуассона}
|
||
\vspace*{-2em}\begin{block}{}
|
||
При $n\to\infty$ распределение Бернулли преобразуется в распределение Пуассона ($\lambda=np$):
|
||
$$P_n(k)=\frac{\lambda^k}{k!}\exp(-\lambda).$$
|
||
\end{block}
|
||
\begin{columns}\column{0.48\textwidth}
|
||
\begin{block}{}
|
||
$F(k, \lambda) = \displaystyle\frac{\Gamma(k+1,\lambda)}{k!}$,
|
||
$\mean{X} = \lambda$, $\moda(X) = \floor{\lambda}$,
|
||
$\med{X}\approx\floor{\lambda+1/3-0.02/\lambda}$,
|
||
$\sigma^2_X = \lambda$.
|
||
|
||
С ростом $\lambda$ распределение Пуассона стремится к распределению Гаусса.
|
||
\end{block}
|
||
\column{0.48\textwidth}
|
||
\img{poissonpdf}
|
||
\end{columns}
|
||
\end{frame}
|
||
|
||
\begin{frame}{Распределение Гаусса}
|
||
\vspace*{-2em}\begin{block}{}
|
||
$$
|
||
\phi (x) = \frac 1 {\sigma \sqrt {2 \pi}} \exp \left( -\frac {(x -\mean{x})^2}{2
|
||
\sigma^2} \right)
|
||
$$
|
||
\end{block}
|
||
\vspace*{-1em}\begin{block}{}
|
||
$F(x) = \displaystyle\frac 1{\sigma \sqrt {2 \pi}} \Int_{-\infty}^x \exp \left( -\frac{(t
|
||
-\mean{x})^2}{2 \sigma^2} \right)\, dt$,
|
||
$\moda(X) = \med{X} = \mean{X}$.
|
||
\end{block}
|
||
\vspace*{-1em}\img[0.6]{normpdf}
|
||
\end{frame}
|
||
|
||
\begin{frame}{Показательное (экспоненциальное) распределение}
|
||
\vspace*{-1em}\begin{block}{}
|
||
Время между двумя последовательными свершениями события
|
||
$$f(x)=\begin{cases}
|
||
0,& x<0,\\
|
||
\lambda\exp(-\lambda x),& x\ge0;
|
||
\end{cases}\qquad
|
||
F(x)=\begin{cases}
|
||
0,& x<0,\\
|
||
1-\exp(-\lambda x),& x\ge0,
|
||
\end{cases}
|
||
$$
|
||
\end{block}
|
||
\vspace*{-1em}\begin{block}{}
|
||
$\mean{X} = \lambda^{-1}$,
|
||
$\moda(X) = 0$, $\med{X} = \ln(2)/\lambda$,
|
||
$\sigma^2_X = \lambda^{-2}$.
|
||
\end{block}
|
||
\vspace*{-1em}\img[0.5]{exppdf}
|
||
\end{frame}
|
||
|
||
\section{Корреляция и ковариация}
|
||
\begin{frame}{Корреляция и ковариация}
|
||
\begin{defin}
|
||
\ж{}Ковариация\н является мерой линейной зависимости случайных величин и определяется формулой:
|
||
$\mathrm{cov}(X,Y)=\mean{(X-\mean{X})(Y-\mean{Y})}$ $\Longrightarrow$ $\mathrm{cov}(X,X) =
|
||
\sigma^2_X$.
|
||
\к Ковариация независимых случайных величин равна нулю\н, обратное неверно.
|
||
\end{defin}
|
||
\begin{block}{}
|
||
Если ковариация положительна, то с ростом значений одной случайной величины, значения второй имеют
|
||
тенденцию возрастать, а если знак отрицательный~--- убывать.
|
||
|
||
Масштаб зависимости величин пропорционален их дисперсиям $\Longrightarrow$ масштаб можно
|
||
отнормировать (\ж{}коэффициент корреляции\н Пирсона):
|
||
$$\rho_{X,Y}=\frac{\mathrm{cov}(X,Y)}{\sigma X\sigma Y}, \qquad \mathbf{r}\in[-1,1].$$
|
||
\end{block}
|
||
\end{frame}
|
||
|
||
\begin{frame}{}
|
||
\begin{block}{}
|
||
Коэффициент корреляции равен~$\pm1$ тогда и только тогда, когда~$X$ и~$Y$ линейно зависимы. Если
|
||
они независимы, $\rho_{X,Y}=0$ (\ж{}обратное неверно!\н). Промежуточные значения коэффициента
|
||
корреляции не позволяют однозначно судить о зависимости случайных величин, но позволяет предполагать
|
||
степень их зависимости.
|
||
\end{block}
|
||
\begin{block}{Корреляционная функция}
|
||
Одна из разновидностей~---\ж автокорреляционная функция\н:
|
||
$$
|
||
\Psi(\tau) = \Int f(t) f(t-\tau)\, dt\equiv
|
||
\Int f(t+\tau) f(t)\,dt.
|
||
$$
|
||
Для дискретных случайных величин автокорреляционная функция имеет вид
|
||
$$
|
||
\Psi(\tau) = \aver{X(t)X(t-\tau)}\equiv\aver{X(t+\tau)X(t)}.
|
||
$$
|
||
\end{block}
|
||
\end{frame}
|
||
|
||
\begin{blueframe}{}
|
||
\begin{block}{Взаимно корреляционная функция}
|
||
Другая разновидность~---\ж кросс--корреляционная функция\н:
|
||
$$(f\star g)(t)\stackrel{\mathrm{def}}{=}\Infint f^{*}(\tau)g(t+\tau)\,d\tau$$
|
||
свертка:
|
||
$$ (f*g)(x)\stackrel{\mathrm{def}}{=}\Infint f(y)\,g(x-y)\,dy = \Infint f(x-y)\,g(y)\, dy.$$
|
||
|
||
\end{block}
|
||
\img[0.5]{convcorr}
|
||
\end{blueframe}
|
||
|
||
\begin{frame}{}
|
||
\begin{block}{}
|
||
Если $X$ и $Y$~--- два независимых случайных числа с функциями распределения вероятностей
|
||
$f$ и $g$, то $f\star g$ соответствует распределению вероятностей выражения $-X+Y$, а $f*g$~---
|
||
распределению вероятностей суммы $X + Y$.
|
||
|
||
ВКФ часто используется для поиска в длинной последовательности более короткой заранее известной,
|
||
определения сдвига (см.~рис).
|
||
|
||
Связь со сверткой: $f(t)\star g(t) = f^*(-t) * g(t)$, если $f$ и $g$ четны, то
|
||
$f(t)\star g(t) = f(t) * g(t)$. Через преобразование Фурье:
|
||
$\FT{f \star g} = \FT{f}^*\cdot\FT{g}$.
|
||
\end{block}\img[0.6]{autocorr}
|
||
\end{frame}
|
||
|
||
\section{Шум}
|
||
\begin{frame}{Шум}
|
||
\begin{defin}
|
||
\ж Шум\н~--- беспорядочные колебания различной физической природы, отличающиеся сложной временной и
|
||
спектральной структурой.
|
||
\end{defin}
|
||
\begin{block}{}
|
||
\ж Белый шум\н, $\xi(t)$, имеет время корреляции много меньше всех характерных времен физической
|
||
системы; $\mean{\xi(t)}=0$, $\Psi(t,\tau)=\aver{\xi(t+\tau)\xi(t)}=\sigma^2(t)\delta(\tau)$.
|
||
Разновидность~--- AWGN.
|
||
|
||
\ж Дробовой шум\н имеет пуассонову статистику~\so $\sigma_X\propto\sqrt{x}$ и
|
||
$\SNR(N)\propto\sqrt{N}$. Суточные и вековые корреляции.
|
||
|
||
Шум вида \ж<<соль--перец>>\н обычно характерен для изображений, считываемых с ПЗС.
|
||
\end{block}
|
||
\end{frame}
|
||
\begin{frame}{SNR}
|
||
\begin{defin}
|
||
\ж SNR\н~--- безразмерная величина, равная отношению мощности полезного сигнала к мощности шума.
|
||
\end{defin}
|
||
\begin{block}{}
|
||
$$\SNR = {P_\mathrm{signal} \over P_\mathrm{noise}} = \left ({A_\mathrm{signal} \over
|
||
A_\mathrm{noise} } \right )^2, \quad
|
||
\SNR(dB) = 10 \lg \left ( {P_\mathrm{signal} \over P_\mathrm{noise}}
|
||
\right )
|
||
= 20 \lg \left ( {A_\mathrm{signal} \over A_\mathrm{noise}} \right ).
|
||
$$
|
||
\end{block}
|
||
|
||
\img[0.6]{SNR}
|
||
\centerline{\tiny (10, 0, -10~дБ.)}
|
||
\end{frame}
|
||
|
||
|
||
\begin{frame}{Спасибо за внимание!}
|
||
\centering
|
||
\begin{minipage}{5cm}
|
||
\begin{block}{mailto}
|
||
eddy@sao.ru\\
|
||
edward.emelianoff@gmail.com
|
||
\end{block}\end{minipage}
|
||
\end{frame}
|
||
\end{document}
|