Вы находитесь на странице: 1из 49

Имитационный эксперимент:

методы и инструменты анализа


o Как моделируется случайность и что из этого следует
o Статистический анализ результатов имитации
o Моделирование стационарного состояния и
прерывающаяся имитация
o Анализ результатов при помощи Arena Output Analyzer
o Анализ сценариев при помощи Process Analyzer (PAN)
o Параметрическая оптимизация в OptQuest

Эту презентацию следует


Заходякин Г.В. postlogist@gmail.com смотреть в полноэкранном
режиме, чтобы работала
анимация. Нажмите Ctrl-L
в Adobe Reader. Смотрите
примечания к слайдам. 1
Схема применения метода дискретно-
событийного моделирования

+
Интервальная оценка или
Оптимизационный
эксперимент -
Необходимы специальные средства
распределение критерия
Ограниченная точность результатов
Любая структура и логика
поведения системы Невозможно применять традиционные
методы оптимизации
Простая разработка модели
2
Что должен сделать
разработчик модели?
o описать поведение моделируемой
системы в виде некоторого
алгоритма, который можно
реализовать на компьютере
o получать случайные числа
(с равномерным или каким-либо
другим распределением)
o собрать статистические данные
и сформировать отчет с результатами
o создать графическое представление поведения модели;
o провести анализ результатов и оптимизацию

3
Особенности получения случайных
чисел при помощи компьютера
o Компьютер – детерминированный прибор!
o Случайные числа в действительности –
псевдослучайные
o Последовательность псевдослучайных
чисел однозначно определяется начальным
числом (random seed)
o Можно получать заданные свойства
последовательности псевдослучайных
чисел
o Получив «равномерное» распределение,
можно получить любое другое
o Качество генератора случайных чисел
влияет на достоверность результатов
моделирования

http://en.wikipedia.org/wiki/Linear_congruential_generator 4
Принцип работы линейного конгруэнтного
генератора случайных чисел
o Получение случайных чисел основано на перестановках и сдвигах
в двоичном представлении числа
o Следующее число в последовательности получается по
рекуррентной формуле:
rndn+1 = (a * rndn + c) mod m,
где a, c, m – параметры, rnd – элементы последовательности, mod
– операция остатка от деления на m
o Равномерное распределение на [0;1) получается так: Un = rndn/m
o Пример для a = 4, c = 2, m = 6, rnd0 = 1
N итерации (n) rndn rndn+1
0 1 (4*1+2) mod 6 = 0
1 0 (4*0+2) mod 6 = 2
2 2 (4*2+2) mod 6 = 4
3 4 (4*4+2) mod 6 = 0
далее последовательность повторяется — начиная с шага 1 (rnd=0). Числа 1,3,5
отсутствуют в последовательности.

o Длина последовательности до повторения не превышает m.


В зависимости от выбранных a и c, она может уменьшаться 5
Получение дискретных распределений
5% 10%
5%

A
B R = RND(100)

C 25% 25%
D
E
F X P SUM(P)
A 10 10
B 25 35
30% C 30 65
D 25 90
E 5 95
F 5 100
6
Получение непрерывных распределений

F(X)

7
Тестирование генераторов случайных чисел

o Проблемы арифметических генераторов


– слишком короткий период
– последовательные значения не являются
независимыми
– некоторые биты менее случайны, чем другие
– неравномерное распределение
– обратимость
o Методы проверки равномерности
распределения
– диаграмма рассеяния
– гистограмма

8
Случайные числа в Arena
o Arena использует метод Combined Multiple Recursive Generator
(CMRG), предложенный L’Ecuyer (1996):
– An = (c1 * An-2 – c2 * An-3) mod c3 и Bn = (c4 * Bn-1 – c5 * Bn-3) mod c6
– Zn = (An – Bn) mod c7
– Un = Zn / (c6+1), при Zn >0, иначе Un = c6/c6+1 при Zn = 0
o Последовательность CMRG разбивается на непересекающиеся
потоки, поток можно выбрать, задав начальные условия:
A1 .. A3 и B1 .. B3 (вычисляются по # потока)

1.8*1019 потоков 2.3*1015 суб-потоков


(stream) по 1.7*1038 (substream) по 7.6*1022

Последовательность
(cycle) – 3.1 * 1057 чисел

9
Использование потоков в Arena
o По умолчанию все случайные числа выбираются
из потока #10
o Можно указать явно, какой поток следует использовать:
– Lead Time = EXPO(5,1)
o Поток 10 зарезервирован для использования системой
(блоки decide / отказы и т.п.)
o В первом эксперименте (Replication 1) выбирается
суб-поток #1 каждого потока
o При каждом новом повторе эксперимента выбирается
следующий суб-поток в каждом потоке
o Эти последовательности - одни и те же для всех
моделей/испытаний

10
Статистический анализ
результатов моделирования

o Наблюдаемые характеристики модели случайны и имеют некоторое


распределение значений
o В отчеты выводятся средние значения, полученные в результате:
– усреднения по множеству реализаций эксперимента
(replications)
– усреднения по множеству последовательных временных
интервалов в одном эксперименте (batch means)
o Для оценки диапазона возможных значений показателя в отчет также
выводятся минимальное и максимальное значение
o Для оценки надежности среднего значения выводится 95%
доверительный интервал для среднего
11
Распределение наблюдаемой величины
o Любую статистику можно записать в файл (Advanced Process/Statistic)

o Этот файл необходимо


обработать программой
Output Analyzer
o Из Output Analyzer можно
экспортировать данные
в текстовом виде для
обработки в других
приложениях (Excel,
SPSS, Input Analyzer…)
12
Количество повторений и точность оценки

13
Выборочные распределения
o Выборочное распределение – множество всех возможных значений выборочной
статистики, полученной для выборки данного объема (N) из генеральной
совокупности. Arena вычисляет характеристики выборочного среднего

mX   X  / N

o Свойства выборочного распределения описываются центральной предельной


теоремой. При N -> +inf справедливо:
– распределение выборочного среднего – нормальное
– выборочное среднее -> генеральное:
– СКО выборочного среднего:
 
E X  X

X  / N - стандартная ошибка выборочного среднего

– Эти свойства проявляются независимо от распределения генеральной


совокупности, из которой получена выборка
14
Доверительные интервалы
для выборочного среднего ( известна)
o При известном  (генеральном СКО) можно построить доверительный
интервал для выборочного среднего, пользуясь свойствами
выборочного распределения

mX   X  / N

o Ширина интервала  выбирается из условия:


s
P X      X    P  1    Z
N
o Соответствующие площади можно вычислить при помощи таблиц или
функций, в т.ч. Excel

15
Определение вероятности попадания
случайной величины в интервал
o Для
Вероятность попадания в заданный интервал для непрерывной
нормального распределения справедливо:
случайной величины может быть определена при помощи
  x   1  или
Fплотности F  xфункции
 распределения

1    F  b   F  a   F  b  b 1  F  b    2 F  b   1
P  a  X  b    f  x  dx  F  b   F  a 
2 F  b   2    F  b   1 a / 2

0
2 1 0

 f ( x) dx  0.954

2
F( 2)  F( 2)  0.954
0.3

fd( x 2 2)


0.2 F( x) 0.5
f ( x)

0.1

0
4 2 0 2 4
0 x
4 2 0 2 4
x
16
Интервальная оценка среднего при неизвестном 
o Если неизвестно , то в качестве его оценки принимается s
o В случае небольшой (N<30) выборки из нормальной совокупности
используется распределение Стьюдента (t-распределение):

s
Z или t
  t1 /2,df , df  N  1
N
Квантили t- и Z-распределения для  = 5%
(двухсторонний
o При N > 30 можно использовать интервал)
нормальное выборочное распределение:
s
  Z1 /2
N
Нормальная 0.4

кривая N=30
0.3
dnorm( X 0 1)

dt ( X 1)
0.2
dt ( X 5)
N=1 N=5
dt ( X 30)
0.1
Число степеней свободы (t-распределения)
 10 5 0 5 10
X

Сходимость t-распределения к нормальному при N->inf 17


Пример: интервальная оценка
среднего по выборке
17.9 13.8 18.5 2.4 20.6
20.5 19.1 21.2 19.3 30.4
14.2 19.1 27.6 22.1 18.7
20.1 24.0 28.2 15.9 15.8

Расчетные формулы:
Число наблюдений: 
Выборочное среднее: ∑

Выборочное СКО: ∑

Стандартная ошибка среднего:  /

Уровень значимости: 1
Полуширина доверительного интервала для среднего: 
∆ ∙ ,

18
Пример: интервальная оценка
среднего по выборке
17.9 13.8 18.5 2.4 20.6
20.5 19.1 21.2 19.3 30.4
14.2 19.1 27.6 22.1 18.7
20.1 24.0 28.2 15.9 15.8

Оцененные параметры распределения:


Число наблюдений N: 20
Выборочное среднее: 19.5
Выборочное СКО: 6.0
Станд. ошибка среднего: 1.3
Доверительная вероятность P: 95%
Полуширина доверит. интервала: 2.8
Доверит. интервал НГ 16.7
Выборочное среднее: 19.5
Доверит. интервал ВГ 22.3
См. пример в LMS
19
Определение необходимого
числа повторений

o Полуширину доверительного интервала можно приближенно


оценить по формуле:
s
  Z1 /2 - приближение, для N > 30
N
o Количество повторений при этом:
2
 s
N   Z1 /2  - не точно, т.к. s зависит от N
 
o Более удобно пользоваться другой формулой:

s 
 0  Z1 /2
N 0 
2
0 N N  0 
    
s   N0 N0   
  Z1 /2
N 
20
Определение длительности
моделирования и «периода разогрева»

< график изменения


средней хронологической
числа занятых операторов
в каждом из 10 повторений
эксперимента (replication)

o Если цель моделирования – изучение стационарного состояния системы,


то переходный процесс при запуске модели может искажать результаты
o Необходимо отсекать статистику за этот период, указывая значение
Warm-Up period в настройках эксперимента
21
Определение длительности
эксперимента при моделировании
стационарного режима
o При моделировании стационарного
режима с использованием «средних по
реализации» (batch means) можно
останавливать эксперимент по
достижению заданной точности для
оценки среднего
o Необходимо указать заведомо большую
длительность эксперимента и
установить критерий останова по
достижению требуемой полуширины
доверительного интервала:
– DHALF( … ) <= точность
o Эта статистика вычисляется для всех
величин, усредняемых по времени
(Time-Persistent)
o Для счетчиков (Tally) используется
функция THALF( … )
22
Условие для примера «Банк»
o Рассматривается работа отделения банка. В отделении работают два окна
для выполнения операций (кассы). За каждым окном закреплена операция
одного типа. Придя в банк, клиент получает обслуживание одного из двух
типов, либо становится в очередь к окну, выполняющему нужную клиенту
операцию. Из-за скопления очередей посетители часто жалуются на
плохую работу отделения.
o Характеристики потока заявок:
– Интенсивность потока клиентов – 20 чел./час.
– Каждому клиенту необходима только одна из двух операций, доли
операций – 50/50
– Распределение времени между прибытиями клиентов -
экспоненциальное (простейший поток заявок)
o Характеристики каналов обслуживания:
– Число каналов обслуживания - 2
– В среднем, на операцию любого типа уходит 5 минут
– Распределение времени обслуживания - экспоненциальное
(простейший поток заявок)
o Улучшится ли работа банка, если каждый оператор станет выполнять
операции любого типа, а очередь к кассам будет общей?
23
Аналитические результаты
для примера «Банк»
Показатель Специализированные Специализированные Универсальные
кассы (каждая касса) кассы (отделение) кассы (отделение)

P0 (Все операторы 16.7% 2.8% 9.1%


свободны)

P1 (1 оператор занят) 83.3% 27.8% 15.2%


(в т.ч. и при наличии (в т.ч. и при наличии (очередь
очереди) очереди) невозможна)
P2 (2 оператора заняты - - 69.4% 75.8%
в т.ч. и при наличии
очереди)
Pоч (образование 69.4% 90.7% 63.1%
очереди)

Средняя длина очереди 4.2 8.3 3.8


Среднее число клиентов 5 10 5.5
в банке

Среднее время 25 25 11.4


ожидания в очереди, мин

Среднее время 30 30 16.4


пребывания в банке, мин
24
Результаты моделирования в Arena
для примера «Банк»
Показатель (для Спец. кассы – Спец. кассы – Универс. кассы – Универс. кассы –
отделения банка) среднее по среднее по 50 среднее по среднее по 50
реализации повторениям реализации повторениям
(200 дней) (200 дней)
P0 (Все операторы 2.7% 2.9% 9.3% 9.2 %
свободны) +/- 0.2% +/- 0.3%
P1 (1 оператор занят) 27.7% 27.6% 15.2% 15.3
(в т.ч. и с +/- 0.5% +/- 0.4%
очередью)
P2 (2 оператора заняты - 69.7% 69.5% 75.5% 75.5%
в т.ч. и при наличии +/- 0.7% +/- 0.6%
очереди)
Pоч (образование 67.6% 90.3% 63.0% 62.6%
очереди) +/- 0.5% +/- 0.8%
Средняя длина очереди A:3.9 B:4.7 A:4.0 B:4.3 3.8 3.7
+/- A:0.5 B:0.7 +/- A:0.3 B:0.3 +/- 0.6 +/- 0.2
Среднее число клиентов 10.2 10.0 5.4 5.4
в банке +/- 0.9 +/- 0.4 +/- 0.6 +/- 0.2
Среднее время 25.5 24.9 11.3 11.0
ожидания в очереди, мин +/- 2.6 +/- 1.1 +/- 1.5 +/- 0.6
Среднее время 30.5 29.9 16.3 16.0
пребывания в банке, мин 25
+/- 2.6 +/- 1.1 +/- 1.5 +/- 0.6
Анализ данных эксперимента
в Arena Output Analyzer
o Arena Output Analyzer – инструмент для статистического анализа
результатов моделирования:
– Построение графиков и гистограмм
– Вычисление и визуализация доверительных интервалов для
средних
– Проверка статистической значимости различий в сценариях
(t-тесты для сравнениях средних и дисперсионный анализ ANOVA)
– Экспорт и преобразование данных
o Необходимо сначала записать файлы данных для сравнения (см.
таблицу Advanced Process/Statistic)

26
Output Analyzer: набор данных

Data Group File (.dgr) – список


файлов данных, которые затем
можно применять в различных
видах анализа

o Для работы Output Analyzer необходимы файлы данных (.dat),


сохраненные в Arena (таблица Advanced Process/Statistic)
o Все файлы данных, которые необходимо сравнить или исследовать,
можно добавить в группу данных
o Файлы из группы данных проще выбирать на последующих этапах
анализа

27
Output Analyzer: доверительные
интервалы для средних
o Команда Analyze>Conf. Intervals on Mean>Classical
позволяет рассчитывать и визуально сравнивать
доверительные интервалы для средних

28
Output Analyzer: гистограмма
распределения

o Команда Graph>Histogram позволяет вывести гистограмму


распределения наблюдаемых значений
29
Output Analyzer: сравнение
средних (t-тест)

o Для сравнения статистической значимости отличий двух сценариев по


выбранному показателю применяется t-тест (Analyze>Compare Means)
o Если никаких специальных действий не предпринималось, при
сравнении сценариев необходимо использовать t-тест для
зависимых выборок (Paired t-test)
30
Process Analyzer (PAN)
В дереве объектов показаны:
• Сценарии (Scenarios)
• Управляемые параметры (Controls)
• Наблюдаемые параметры
(Responses)
• Диаграммы (Charts)

Соответствующие объекты
создаются из контекстного меню
таблицы сценариев (правая кнопка
мыши)

o Утилита Process Analyzer, PAN (в Arena: Tools>Process Analyzer) позволяет


выполнять сценарный анализ без необходимости записывать результаты в
файл и обработки в Output Analyzer
o В PAN можно создать любое количество сценариев, которые отличаются
значениями модельных параметров. Эти параметры задаются
непосредственно из PAN
o Сценариями могут быть и принципиально различные версии модели 31
PAN: Создание сценария

o Сценарий в Process Analyzer включает:


– программный файл модели (.p)
– набор значений управляемых параметров (Controls)
– набор наблюдаемых параметров (Responses), рассчитываемых в процессе
моделирования
o Если новый сценарий отличается от базового только параметрами,
можно продублировать базовый сценарий и поменять параметры в
копии прямо из PAN

32
PAN: Графический анализ сценариев

o PAN позволяет сравнивать сценарии при помощи таблиц и графиков


o Графики добавляются из контекстного меню таблицы (Insert>Graph)
o Можно сравнивать изменение наблюдаемого параметра в разных сценариях,
либо изменения его в ходе повторений эксперимента для одного сценария
33
OptQuest: параметрическая оптимизация
o OptQuest – утилита для
подбора оптимальных значений
сценарных параметров по
выбранному критерию
o Задача оптимизации в
имитационном моделировании
не имеет точного решения,
поэтому OptQuest использует
метод упорядоченного перебора
в сочетании с эвристическими
алгоритмами (tabu search)
o Поддерживаются непрерывные
и дискретные переменные
o Поддерживаются ограничения
(для сценарных параметров
и целевые ограничения)
o Оптимизация производится по среднему значению критерия для заданного
количества повторений
o Поиск решения останавливается по заданному числу попыток оптимизации,
времени, либо отсутствию улучшения в течении 100 попыток
o Полученный в ходе оптимизации список решений может быть уточнен
(дополнительные повторения, отбор и ранжирование) 34
OptQuest: Сценарные параметры
o Первый шаг – выбор изменяемых параметров сценария (controls)
o Сценарными параметрами могут быть:
– значения переменных, заданных в модели
– уровни ресурсов

35
OptQuest: наблюдаемые параметры
o Наблюдаемые параметры (Responses) – это различные статистики по
объектам модели, а также заданные пользователем (типа output)
o Можно выбрать
несколько наблюдаемых
параметров
и использовать один
из них в качестве
критерия оптимизации,
а остальные – для
записи целевых
ограничений

36
OptQuest: Ограничения

o Ограничения можно записывать в виде равенств или неравенств


с использованием управляемых параметров (переменных решения),
наблюдаемых параметров и различных математических функций
o Целевые ограничения проверяются постфактум и решение помечается
как достижимое или недостижимое (feasible/infeasible)
37
OptQuest: Целевая функция

o Оптимизация в OptQuest выполняется по единственному критерию


o В качестве критерия выбирается один из наблюдаемых параметров
или какая-либо функция от одного или нескольких параметров
38
OptQuest: Настройки оптимизации

o В разделе Options задается количество попыток оптимизации,


критерий останова, количество повторений модельного эксперимента
(replications) для каждой попытки оптимизации

39
OptQuest: Процесс оптимизации

o После настройки параметров необходимо запустить оптимизацию


o Можно наблюдать за текущим решением и ходом его улучшения
40
OptQuest: Просмотр и уточнение
списка наилучших решений

o После оптимизации в список Best Solutions выводится заданное число наилучших


решений
o Их можно ранжировать по различным критериям, отобрать, сохранить в файл или
список опорных решений (suggested solutions)
o Решения, найденные при малом числе повторений эксперимента (replications) 41
неустойчивы и требуют уточнения
OptQuest: Множество решений,
близких к оптимальному

o Процедура Rank&Select позволяет сформировать множество решений,


близких к оптимальному
o Входная информация – предельное расстояние от истинного оптимума
(Indifference Zone) и вероятность попадания в эту область
42
Информационные ресурсы по теме
1. Kelton D., Sadowski R., Swets N. Simulation with Arena. – 5th ed. – McGraw-Hill, 2010.
– 636 p.
2. Swain, James Simulation Software Survey // Operations Research and Management
Science Today, October 2007
http://lionhrtpub.com/orms/surveys/Simulation/Simulation.html
3. Примеры моделей // веб-сайт компании XJ Technologies [Anylogic]
http://www.xjtek.ru/anylogic/demo_models/
4. Мур Д., Уэдерфорд Л. Экономическое моделирование в Microsoft Excel, 6-е изд.:
Пер. с англ. — М.: Вильямс, 2004. – 1024 c.
5. Карпов Ю. Имитационное моделирование систем. Введение в моделирование
систем с AnyLogic 5. — СПб.: БХВ-Петербург, 2005. – 390 c.
6. http://ru.wikipedia.org/wiki/Имитационное_моделирование
7. Кельтон В., Лоу А. Имитационное моделирование. Классика Computer Science.
3-е изд. — СПб. : BHV, 2004. – 846 c.
8. Соболь И.М. Метод Монте-Карло. — М.: Наука, 1968. – 68 c. (Серия «Популярные
лекции по математике» вып. 46)
9. Вентцель Е.С. Теория вероятностей: учеб. для вузов — 6-е изд. — М.: Высш. шк,
1999
10. Гмурман В.Е., Теория вероятностей и математическая статистика: учеб. пособие
для вузов — 8-е изд., — М.: Высш.шк., 2002.
43
Дополнение

Проверка статистических гипотез


Проверка статистических гипотез
o Проверка утверждения о выборке или генеральной совокупности
(статистической гипотезы) включает этапы:

1. Формулируется проверяемая гипотеза H0 и альтернативная


гипотеза H1, которая принимается если отвергается H0
2. Выполняется случайная выборка из генеральной совокупности,
для выборки вычисляются требуемая выборочная статистика
3. Рассматривается распределение выборочной статистики в
предположении что H0 верна
4. Вычисляется вероятность того, что подобная выборочная
статистика может быть получена из этого выборочного
распределения
5. Если эта вероятность высока, то H0 принимается, в противном
случае – отвергается и принимается H1 При этом предполагается
заданная малая вероятность ошибки, называемая уровнем
значимости

45
Ошибки при проверке гипотез
Выбор аналитика H0 принимается H0 отвергается

Действительное
состояние
H0 справедлива Ошибка I рода,
вероятность 
(уровень
значимости)

H0 Ошибка II рода,
несправедлива вероятность 
(мощность
критерия)

46
Пример проверки гипотезы
(2-сторонний критерий)
o Задача:
Проверить, верно ли, что средний вес деталей, производимых на оборудовании по-
прежнему равен 50 г. СКО веса деталей известно и равно 5 г
o Гипотезы: H0: средний вес деталей = 50 г, H1: средний вес деталей <> 50 г
o Для проверки H0 сделана выборка из N=100 деталей, Xср = 51.3 г
o Схема проверки:
– строим выборочное распределение в предположении истинности H0
– определяем критические значения X из условия P(|  - Xcp| > dx) = a
– если |  – Xcp | > dx,
то H0 отвергается   50 N  100   5
на уровне
dx  qnorm 1  0 Xcp 
 
значимости , Xcp   0.5   5% dx  0.98
N  2 
иначе - нет
оснований ее
отвергнуть  dx  dx

0.6
– В данном случае:   dx  49.02   dx  50.98
Xcp-  = 1.3 г > dx, 
dcrit x  Xcp  
H0 – отвергаем,
принимаем H1 
dnorm x  Xcp  0.4
0.2  
2.5% 2.5%
2 dx dx 2

0
48 49 50 51 52
47
x
p-значения
o p-значение – это вероятность того, что выборочная статистика, полученная из
распределения, окажется не меньше найденной по выборке
o В предыдущем примере – вероятность того, что отклонение от среднего dx
превысит найденное по выборке значение | 51.3 – 50 | = 1.3
o Малое значение p свидетельствует о низком правдоподобии H0, в примере p =
0.0093, поэтому с вероятностью 1-p ~ 1 мы не ошибемся, отвергнув H0.
o Равносильное утверждение: p – минимальный уровень значимости, с которым
может быть отвергнута гипотеза H0.
o p-значения очень удобны, поскольку не требуют использования таблиц
критических значений для проверочных статистик

 dx dx 0.8
p ( dx)  2 ( 1  pnorm( dx0 ) )
0.6 0.6

dcrit x0  Xcp   
p dx Xcp 
 
p 1.3Xcp  0.0093

dnorm x0  Xcp  0.4 0.4

0.2 P ( 1  F( dx) )  2 0.2

0
2 1 0 1 2 0 1 2 3
x dx

48
Пример проверки гипотезы
(1-сторонний критерий)
o Задача:
Проверить, верно ли, что среднее суммы баллов студентов на вступительных экзаменах по-
прежнему равно 500, или оно меньше. СКО совокупности неизвестно и оценивается по выборке
o Гипотезы: H0: средняя сумма баллов >= 500, H1: средняя сумма баллов < 500
o Для проверки H0 сделана выборка из N=15 студентов, Xср = 475, S = 35.
o Предполагая распределение совокупности нормальным, для описания выборочного
распределения используется t-распределение. Статистика критерия:

X  X   475  500
t    2.766
/ N S/ N 35 / 15

o Критическое значение t t crit t-статистика –


t-критерия определяется для нормализованное
 = 5% и df = N-1 = 14, t  2.766 tcrit  1.761 отклонение от среднего
tкрит= -1.761 0.4

tcrit t N  1   p ( t N )  pt ( t N )

o p-значение – вероятность 
dt t N  1  p ( t N  1)  0.008
получить из t-распределения
отклонение от 0 больше

dnorm t 0 1 
0.2
полученной по выборке
t-статистики
p = 0.008, H0 - отвергаем

4 2 0 2 4
t
49