3 января 2017 г.

Сегодня мы окунюмся в байесовскую статистику и рассмотрим концепция вероятностного программирования Python. Это большая и сложная тема, более-менее глубокое изучение которой невозможно в рамках двух пар, поэтому я, как всегда, оставлю ссылки на материалы, которые использовал для подготовки, основными из которых будут эти три книги:

Bayesian Analysis with Python [1] Bayesian Methods for Hackers [2] Think Bayes: Bayesian Statistics in Python [3]

В сегодняшнем занятия будут использоваться новая библиотека — pymc3.

Следует отметить, что сейчас (февраль 2019 года) активно идёт разработка новой, четвёртой, версии библиотеки PyMC, API которой претерпел значительные изменения из-за перехода с Theano на TensorFlow, которые теперь используется для всех вычислений. По этой причине данный туториал, вероятно, потеряет актуальность через некоторое время.

Если данные говорят с вами, значит вы — байесовец.

Формально, теорема Байеса – это просто математическая формула. Однако её значение гораздо глубже. Теорема Байеса подводит нас к тому, что необходимо иначе взглянуть на процесс выдвижения и проверки идей.

С XVIII в. существует две основных философских позиции относительно того, как применять вероятностные модели. Первая определяет вероятность как нечто, заданное внешним миром.

Вторая утверждает, что вероятность существует в головах людей. В русле первого подхода возникли вначале классическая и затем развивающая её частотная концепции вероятности.

Второй подход нашёл выражение в концепции байесовской вероятности.

Сторонники классического подхода исходят из того, что истинные параметры модели не случайны, а аппроксимирующие их оценки случайны, поскольку они являются функциями наблюдений, содержащих случайный элемент.

Параметры модели считаются не случайными из-за того, что классическое определение вероятности исходит из предположения равновозможности как объективного свойства изучаемых явлений, основанного на их реальной симметрии. На такое представление о вероятности повлияло то, что в начале своего развития теория вероятности применялась прежде всего для анализа азартных игр.

Суждение вида «вероятность выпадения шестёрки при бросании игрального кубика равняется 1/6» основывается на том, что любая из шести граней при подбрасывании на удачу не имеет реальных преимуществ перед другими, и это не подлежит формальному определению.

Таким образом, вероятностью случайного события AAA в её классическом понимании будет называться отношение числа несовместимых (не могущих произойти одновременно) и равновозможных элементарных событий mmm к числу всех возможных элементарных событий nnn:

P(A)=frac{m}{n}

Однако такое определение наталкивается на некоторые непреодолимые препятствия, связанные с тем, что не все явления подчиняются принципу симметрии. Например, из соображений симметрии невозможно определить вероятность наступления дождливой погоды.

Для преодоления подобных трудностей был предложен статистический или частотный способ приближенной оценки неизвестной вероятности случайного события, основанный на длительном наблюдении над проявлением или не проявлением события AAA при большом числе независимых испытаний и поиске устойчивых закономерностей числа проявлений этого события.

Если в результате достаточно многочисленных наблюдений замечено, что частота события AAA колеблется около некоторой постоянной, то мы скажем, что это событие имеет вероятность. Данный тип вероятности был выражен Р. Мизесом в следующей математической формуле:

p=lim_{x oinfty}frac{mu}{n},

где μmuμ — количество успешных испытаний, nnn — количество всех испытаний.

Вероятность здесь понимается как частота успешных исходов я является чисто объективной мерой, поскольку зависит лишь от точного подсчёта отношения количества успешных и неуспешных событий.

Основываясь на этом подходе, статистика занималась созданием вероятностных моделей, которые включали в себя параметры, которые, как предполагалось, связаны с характеристиками исследуемой выборки.

Параметры никогда не могут быть известны с абсолютной точностью до тех пор, пока мы не исследуем всю генеральную совокупность. До тех пор всегда существует вероятность отклонить гипотезу, когда она на самом деле верна, т. е. совершить ошибку первого рода.

Для обозначения вероятности такой ошибки частотники используют понятие уровня значимости αalphaα. Именно вероятность ошибки первого рода частотники ставят во главу анализа, определяя вероятность события. После каждого своего утверждения они обычно добавляют «…

на доверительном уровне в 95%», подразумевая, что исследователь допускает вероятность ошибки в пяти процентах случаев (при α=0,05alpha = 0,05α=0,05).

Иногда параметры вообще невозможно интерпретировать применительно к реальной жизни, поскольку модели редко бывают абсолютно верными. Модели, как мы надеемся, — это некоторые полезные приближения к истине, на основании которых можно делать прогнозы. Тем не менее прежде всего классическое статистическое исследование сосредоточено на оценке параметров, а не на предсказании.

Частотный подход доминировал в XX веке, придя на смену другому пониманию вероятности, связанном с именем английского математика Томаса Байеса. Сущность байесовского подхода составляют три элемента: априорная вероятность, исходные статистические данных данные, постаприорная вероятность.

Байесовская статистика начинает построение своей модели при помощи понятия априорной вероятности, с помощью которой описывается текущее состояние наших знаний, относительно параметров распределения.

Априорная вероятность, таким образом, — это степень нашей уверенности в том, что исследуемый параметр примет то или иное значение ещё до начала сбора исходных статистических данных. На этом основании байесовское понимание вероятности относят к группе субъективистских трактовок вероятности.

Чаще всего предполагается, что для оценки степени уверенности необходимо привлечь экспертов, чьё субъективное свидетельство позволит избежать действительной многократной реализации интересующего нас эксперимента.

Следующий элемент — это исходные статистические данные. По мере их поступления статистик пересчитывает распределение вероятностей анализируемого параметра, переходя от априорного распределения к апостериорному, используя для этого формулу Байеса:

P( heta|y)=frac{P(y| heta)P( heta)}{P(y)},

где

• P(θ)P( heta)P(θ) —— априорная вероятность гипотезы θ hetaθ, выражает наши знания о значениях параметров, предшествующие построению модели.
• P(y∣θ)P(y| heta)P(y∣θ) —— апостериорная вероятность, представляет собой распределение вероятностей для параметра в нашей модели, рассчитанное с учётом априорных знаний и правдоподобия новых.
• P(θ∣y)P( heta|y)P(θ∣y) —— правдоподобие, вероятность наблюдать данные yyy при истинности гипотезы θ hetaθ

Теория вероятностей в программировании и IT: где она используется, примеры : Backend Developer

Расскажем, где может пригодиться теория вероятностей, и как базовое понимание теорвера могло бы в свое время спасти разработчиков iPod от серьезного конфуза.

Теория вероятностей исследует свойства случайных величин, вероятности наступления случайных событий и их взаимосвязь.

Первой серьезной попыткой использования математики для вычисления вероятностей стала «Книга об азартных играх» миланского врача, математика и заядлого игрока Джероламо Кардано, написанная в 1563 году.

Брошюра оставалась неизданной почти 100 лет; когда ее наконец-то издали, свой вклад в теорию вероятностей уже внесли Христиан Гюйгенс, Блез Паскаль и Пьер Ферма.

Математика вероятности зародилась как попытка поймать удачу за хвост – все ранние работы были так или иначе связаны с вычислением вероятностей выигрыша. Сейчас теория вероятностей помогает решать более важные проблемы – инженерные, технические и научные. Например, теорию вероятностей можно использовать:

• В физике для анализа квантовых событий и случайных процессов в наноэлектронике.
• В экономике и финансах для создания моделей риска и определения вероятности колебаний на рынке ценных бумаг. Один из самых известных примеров использования теории вероятностей в финансах – модель Блэка-Шоулза для определения цены опционов на акции.
• В биоинформатике для анализа биологических данных – последовательностей ДНК, РНК и белков. Теорвер помогает определить вероятность существования определенной последовательности нуклеотидов и оценить ее значимость для функционирования гена. Кроме того, теорвер используют для анализа геномных данных и определения генетических взаимодействий: вероятностные модели помогают выявить связь между генами и заболеваниями, оценить риски наследственности, а также помочь в разработке новых лекарств и терапий.
• В математической статистике для анализа данных, проверки статистических гипотез и прогнозирования.
• В инженерно-технических расчетах для оценки надежности систем, прогнозирования отказов и определения вероятности возникновения аварийных ситуаций.
• В разработке ПО – в криптографии, анализе данных, машинном обучении, тестировании и оптимизации алгоритмов. С недавних пор вероятностное программирование стало считаться новой парадигмой: появилось первое поколение вероятностных языков программирования – специфических диалектов существующих ЯП, – которые оптимально подходят для создания систем, помогающих принимать решения в условиях неопределенности.

Этот список можно продолжать долго: теорию вероятностей применяют во многих других областях, включая биологию, социологию и экологию, поскольку она позволяет разрабатывать модели и методы для анализа и оптимизации систем и процессов в реальном мире.

Зачем разработчику теория вероятностей

Как уже упоминалось выше, теория вероятностей применяется, прежде всего, в сложных отраслях разработки. Но это не значит, что разработчику софта попроще никогда не придется с ней столкнуться – вот один интересный случай из реальной жизни.

Недостаточно случайный random

Пользователи первых iPоd’ов были сильно разочарованы функцией Shuffle: они ожидали, что список воспроизведения будет перемешиваться так, чтобы треки воспроизводились в совершенно случайном порядке и без повторов.

В реальности же плейлисты получались странными: многие песни сохраняли оригинальный альбомный порядок, некоторые проигрывались очень редко, а другие повторялись несколько раз подряд. Стиву Джобсу даже пришлось объяснять публике, что именно так и работает функция рандомизации.

Это действительно так – использование генератора псевдослучайных чисел в любом языке программирования приводит к не самому случайному результату, как это демонстрирует, например, функция random в Python:

>>> import random >>> print(*[random.randint(1, 12) for i in range(12)]) 9 9 9 6 2 3 5 9 8 12 10 4

Пользователей это объяснение не удовлетворило, и разработчикам пришлось делать алгоритм смешивания «менее случайным». Неизвестно, как именно программисты Apple решили эту проблему: возможно, воспользовались алгоритмом тасования Фишера-Йетса. В том же Python этот алгоритм используется в методе random.shuffle и выдает результат, который понравился бы любому владельцу iPоd’а:

>>> lst = [int(i) for i in range(1, 13)] >>> random.shuffle(lst) >>> print(*lst) 9 6 1 10 12 2 7 5 11 4 8 3

Мораль этой истории не только в том, что нужно изучать алгоритмы, чтобы не изобретать велосипед, но и в том, что такой результат можно легко предсказать заранее – для альбома с 12 треками вероятность повторения одной и той песни два и более раз подряд достигает 16,67%:

import random # создаем список случайных чисел от 1 до 12 lst = [random.randint(1, 12) for i in range(12)] print(*lst) # инициализируем счетчик повторяющихся пар элементов count = 0 # перебираем элементы списка от второго до предпоследнего for i in range(1, 11): if lst[i] == lst[i+1]: # если элементы равны count += 1 # увеличиваем счетчик повторяющихся элементов if count >= 1: # если уже есть повторение break # выходим из цикла, дальше проверять не нужно else: # если элементы не равны count = 0 # сбрасываем счетчик # определяем, есть ли повторение два и более раз подряд if count >= 1: probability = 100 * (count + 1) / len(lst) else: probability = 0 print(f»Вероятность повторения числа два и более раз подряд: {probability:.2f}%»)

Результат:

1 2 8 8 5 12 5 5 8 2 10 9 Вероятность повторения числа два и более раз подряд: 16.67%

Как теория вероятностей используется в разработке

Теория вероятностей тесно связана со статистикой и комбинаторикой: во всех приведенных ниже примерах подразумевается использование статистических и комбинаторных методов наряду с вероятностными.

Машинное обучение

Байесовская сеть – вероятностная модель, которую используют для представления зависимостей между различными переменными в системе. Байесовские сети оценивают вероятности различных событий на основе имеющихся данных.Такие модели применяют для классификации, регрессии, кластеризации и других задач машинного обучения.

Наивный байесовский классификатор – простой алгоритм машинного обучения, который использует теорию вероятностей для классификации данных. Алгоритм предполагает, что все признаки независимы друг от друга – это обеспечивает быструю и эффективную обработку больших объемов данных. Наивный Байес помогает классифицировать текстовые документы, фильтровать спам, распознавать речь.

Марковские модели – вероятностные модели, которые используют для анализа последовательностей самых разных данных – текстов, звуковых записей и временных рядов. Они помогают прогнозировать будущие значения и классифицировать последовательности.

Скрытые марковские модели – вероятностные модели, которые используют для анализа последовательностей данных, где каждое состояние не наблюдается напрямую, но может быть выведено из наблюдаемых данных.

Такие модели состоят из конечного числа скрытых состояний, в которых может находиться система, и наблюдаемых событий, которые описывают систему, но не полностью.

Каждое состояние имеет определенную вероятность перехода в другое скрытое состояние, и вероятности переходов определяются только текущим скрытым состоянием.

Гауссовский процесс – вероятностная модель для аппроксимации сложных функций. ГП можно использовать для прогнозирования временных рядов, моделирования неопределенности в данных и других задач.

Метод максимального правдоподобия – метод оценки параметров вероятностной модели на основе имеющихся данных. Его можно использовать для обучения моделей машинного обучения, например линейной и логистической регрессии.

Анализ данных и Data Science

Оценка надежности результатов – теорию вероятности используют для оценки надежности результатов, полученных из разных экспериментов: она помогает оценить вероятность того, что полученные данные не случайны.

Предсказание будущих результатов – с помощью теории вероятности прогнозируют будущие результаты на основе имеющихся данных. Модели, основанные на вероятностных методах, могут прогнозировать показатели эффективности бизнеса, поведение пользователей и т.д.

• Классификация данных – уже упомянутые байесовские сети помогают определить, к какому классу должен быть отнесен определенный объект.
• Анализ неопределенности – теория вероятности помогает оценить риски и вероятности появления разных событий и исходов.
• Моделирование данных – с помощью теории вероятности разрабатывают модели, которые помогают исследователям выявить взаимосвязь между разными переменными и предсказать будущие значения системы.
• Анализ временных рядов – вероятностные модели помогают предсказать доходы, расходы и другие показатели, которые зависят от множества различных факторов.

Криптография

Анализ случайных чисел – теорию вероятностей использует для анализа генерации случайных чисел и определения того, насколько они действительно случайны. Это помогает оценить стойкость криптографических алгоритмов и предотвратить эксплойты, основанные на определении случайных чисел.

Анализ стойкости шифров – теорвер помогает определить вероятность расшифровки сообщения без знания ключа шифрования. Методы теории вероятностей применяют для брутфорс-атак (перебора ключей) на криптографические алгоритмы и для определения стойкости алгоритмов перед их использованием.

Разработка новых криптографических алгоритмов – теорию вероятностей применяют в теории информации, чтобы определить, какие алгоритмы являются наиболее эффективными для преобразования информации в зашифрованный формат.

Анализ протоколов аутентификации – вероятностные методы используют для анализа протоколов аутентификации, которые обеспечивают проверку подлинности сообщений и безопасность связи. Теорвер помогает определить, насколько протоколы безопасны и стойки к подделке и атакам.

Что почитать по теории вероятностей и статистике

Рекомендуем начать с увлекательной книги «Игра случая. Математика и мифология совпадения» Джозефа Мазура. Минимум сухой теории и вычислений, максимум поразительных историй о мистических совпадениях, которые можно объяснить математически – то, что нужно, чтобы избавиться от мыслей о том, что теория вероятностей – это нечто невероятно сложное и невыносимо скучное.

После «Игры случая» можно переходить к признанной классике – книгам Е. С. Вентцель, написанным самостоятельно и в соавторстве с Л. А. Овчаровым:

• «Теория вероятностей (первые шаги)», 1977
• «Теория вероятностей», 2006
• «Задачи и упражнения по теории вероятностей», 2003
• «Прикладные задачи теории вероятностей», 1983
• «Теория вероятностей и ее инженерные приложения», 2000

Вот еще несколько отличных учебников и пособий, которые пригодятся для самостоятельного изучения:

• «Задачник-практикум по теории вероятностей с элементами комбинаторики и математической статистики», Н. Я. Виленкин, В. Г. Потапов. Это сборник интересных задач, которые можно использовать для подготовки к олимпиаде (или к собеседованию). Все задачи снабжены ответами, а сложные задания – подробными решениями.
• «Руководство к решению задач по теории вероятностей и математической статистике», В. Е. Гмурман. Задачи здесь расположены в порядке возрастания сложности.
• «Теория вероятностей и математическая статистика», Н. Ш. Кремер. Это одновременно и учебник, и руководство по решению практических задач, причем основное внимание здесь уделяется финансово-экономическим задачам.
• «Теория вероятностей и математическая статистика. Конспект лекций», А. И. Волковец, А. Б Гуринович. Этот сборник состоит из 17 лекций, которые охватывают типовую современную программу изучения теорвера в вузе.
• «Теория вероятности. Курс лекций НГУ», Н. И. Чернова. Еще один сборник университетских лекций, в который входит весь необходимый минимум теорвера для решения практических экономических задач.

От теории – к практике

Из книг можно почерпнуть необходимую теоретическую базу и основные подходы к решению умеренно сложных задач.

Однако в ходе разработки сложных вероятностных моделей начинающие программисты неизбежно сталкиваются с одним и тем же вопросом – как воплотить теоретические знания в коде, который решает практические задачи.

Эту проблему успешно решила «Библиотека программиста» на курсе Математика для Data Science – приходи, все прояснится.

Интересно, хочу попробовать

Теория вероятности в программировании

   Вероятность – это мера возможности того, что какое-то событие произойдет. Она описывает, насколько вероятно событие произойдет в определенных условиях. Вероятность может быть выражена как число от 0 до 1, где 0 означает абсолютную невозможность события, а 1 – его абсолютную достоверность.

   Распределение вероятностей – это функция, которая описывает вероятность того, что случайная величина примет определенное значение. Распределения используются для моделирования случайных процессов и событий.

   Примером распределения является нормальное распределение, которое также называется распределением Гаусса. Оно описывает, как случайная величина распространяется вокруг своего среднего значения. Нормальное распределение широко используется в машинном обучении, в частности в задачах классификации и регрессии.

   Примером применения теории вероятностей может служить задача определения мошеннических транзакций на основе данных о покупках клиентов. В этом случае можно использовать вероятностное распределение, чтобы определить, какие транзакции являются аномальными, и отклонять их.

   В целом, понимание базовых понятий теории вероятностей может помочь программистам в освоении машинного обучения и анализа данных. Это позволит им понимать, как работают различные методы машинного обучения и как правильно интерпретировать результаты анализа данных.

   Например, представим, что мы разработали оружие, в написанном нами программном приложении, которое должно иметь разброс в 10%. Мы можем использовать нормальное распределение, чтобы моделировать точки попадания на цель. Сначала мы определяем среднее значение точности нашего оружия.

Пусть это будет точность в 80%. Затем мы можем использовать стандартное отклонение для определения, насколько точность может отклоняться от среднего значения.

В нашем случае мы можем использовать стандартное отклонение в 8%, что дает нам разброс в 10% (стандартное отклонение в 8% на 80% точности).

   С помощью такого расчета мы можем определить вероятность попадания в цель на определенном расстоянии. Например, мы можем определить, что если игрок стреляет на расстоянии 50 метров, то он имеет вероятность попадания в цель в 70%. В то же время, если он стреляет на расстоянии 100 метров, его вероятность попадания в цель может снижаться до 40%.

   Таким образом, теория вероятностей помогает нам анализировать и моделировать различные варианты работы оружия и корректировать его для достижения оптимального баланса в игре.

                                  Пространство элементарных исходов

   Множество Ω содержит все возможные исходы эксперимента и называется пространством элементарных исходов. Каждый элемент множества Ω соответствует определенному исходу эксперимента. На примере броска монеты, множество Ω содержит два элемента: орел (O) и решка (Р).

Множество Ω может быть конечным или бесконечным в зависимости от характера эксперимента. Например, при броске кости множество элементарных исходов равно {1,2,3,4,5,6}, тогда как при измерении температуры воздуха множество Ω является интервалом действительных чисел.

   Структура этого пространства целиком зависит от природы эксперимента. Например, если мы рассматриввем попадание в цель из рогатки по достаточно большой мишени, — пространством элементарных исходов будет сама мишень, для удобного размещения с центром в нуле, а исходом — точка в этой мишени.

   Далее, определение вероятности для непрерывных случайных величин требует понятия интеграла, что делает его более сложным, чем для дискретных случайных величин. Но в то же время, непрерывные случайные величины позволяют описать более сложные и реалистичные ситуации, такие как время прибытия автобуса или скорость ветра.

   Для упрощения задачи мы часто используем понятие плотности вероятности, с помощью которого можно описать вероятностное распределение непрерывной случайной величины. Плотность вероятности в некотором смысле является аналогом функции вероятности в дискретной ситуации.

• Таким образом, непрерывные случайные величины представляют собой более сложные объекты, чем их дискретные аналоги, но в то же время позволяют описывать более сложные и реалистичные ситуации.
• Достоверные и невозможные события
•    Если в урне есть как черные, так и белые шары, то достоверным событием будет то, что вытащенный шар будет либо черным, либо белым (так как шар есть в урне), а невозможным событием будет то, что вытащенный шар будет одновременно и черным, и белым (так как это противоречит природе шара).
• Мера и вероятность

   Вероятность — это способ делать заключения о поведении очень непростых объектов, не вникая в принцип их работы.

Таким образом, вероятность определяется как функция от события, которая возвращает число — некоторую характеристику того, насколько часто может происходить такое событие в реальности. Для определённости математики условились, что это число должно лежать между нулем и единицей.

Кроме того, к этой функции предъявляются требования: вероятность невозможного события равна нулю, вероятность всего множества исходов равна единице, и вероятность объединения двух независимых событий (непересекающихся множеств) равна сумме вероятностей.

Прочее обозначение вероятности — вероятностная мера. Больше всего используется Лебегова мера, обобщающая понятия длина, площадь, объём на любые размерности (n-мерный объем), и таким образом она применима для широкого класса множеств.

   Вероятность – это число, которое показывает, насколько вероятно то или иное событие произойдет. Вероятность может быть выражена в виде десятичной или процентной дроби, либо в виде отношения числа возможных исходов события к общему числу возможных исходов.

Пример: если бросить правильную монетку, вероятность выпадения орла или решки равна 0,5.

   Распределение вероятностей – это функция, которая описывает вероятности возможных исходов события. Распределение вероятностей позволяет определить, как часто те или иные исходы произойдут при многократном повторении эксперимента.

   Пример: распределение вероятностей для броска правильной монетки будет иметь два возможных исхода с равными вероятностями.

Нормальное распределение – это распределение вероятностей, которое обычно встречается при анализе больших выборок данных. Оно имеет форму колокола и характеризуется средним значением и стандартным отклонением.

   Пример: рост людей в обществе будет приблизительно нормально распределен, что означает, что большинство людей имеют средний рост, а очень высокие или очень низкие люди находятся на обоих концах кривой.

   Теория вероятности является основой для машинного обучения, поэтому понимание ее базовых понятий является ключом к пониманию работы алгоритмов машинного обучения. Различные модели машинного обучения могут использовать различные методы теории вероятностей, поэтому знание теории вероятности также поможет в выборе оптимальной модели для конкретной задачи.

Вопрос по теории вероятностей

Теория вероятностей – это раздел математики, изучающий случайные события и вероятности их возникновения. Она широко применяется в различных областях, включая программирование. В этой статье мы рассмотрим основные концепты теории вероятностей и их применение в программировании.

Один из важных понятий теории вероятностей – вероятность. Вероятность – это числовая характеристика случайного события, которая описывает, насколько это событие возможно. Вероятность события A обозначается как P(A) и принимает значения от 0 до 1. Если P(A) = 0, это означает, что событие A невозможно, а если P(A) = 1, это означает, что событие A обязательно произойдет.

Основной закон вероятности гласит, что для любых двух событий A и B вероятность их общего происходения равна вероятности события A, умноженной на вероятность события B, при условии, что события A и B независимы. Если события зависимы, то формула принимает вид: P(A и B) = P(A) * P(B|A), где P(B|A) – условная вероятность события B при условии, что произошло событие A.

Условная вероятность является одним из важных понятий теории вероятностей. Она позволяет оценить вероятность наступления события B при условии, что произошло событие A. Формула для вычисления условной вероятности выглядит следующим образом: P(B|A) = P(A и B) / P(A).

Также существуют понятия комбинаторики, которые находят широкое применение в программировании.

Например, комбинаторные формулы позволяют рассчитать количество возможных вариантов комбинаций и перестановок.

Некоторые из них включают формулы для вычисления факториала числа (n!) и биномиальных коэффициентов (C(n, k)), где n и k – числа, определяющие количество элементов и количество выборок соответственно.

Вероятностные алгоритмы также широко используются в программировании. Они позволяют решать такие задачи, как генерация случайных чисел, симуляция случайных событий, оценка вероятностей и др. Один из самых известных вероятностных алгоритмов – это алгоритм Монте-Карло. Он основан на принципе проведения большого количества случайных экспериментов для приближенного расчета вероятности.

Применение теории вероятностей в программировании позволяет решать различные задачи. Например, вероятностные алгоритмы можно использовать для анализа данных и выявления закономерностей, построения прогнозных моделей, оценки статистических параметров и др.

Теория вероятностей также применяется в алгоритмах машинного обучения. Например, в методе наивного байесовского классификатора используются вероятности для принятия решений о классификации объектов. Байесовская сеть – это еще один пример использования вероятностных моделей в машинном обучении.

Еще одна область программирования, где используются принципы теории вероятностей, – это тестирование программного обеспечения. Тестирование может включать случайное генерирование входных данных, оценку вероятности выполнения определенного сценария, анализ статистики выполнения программы и многое другое.

Теория вероятностей может быть полезна и в анализе алгоритмов. Например, можно оценить вероятность успешного выполнения алгоритма или вероятность получения оптимального результата. Это позволяет оценить эффективность алгоритма и сравнить различные варианты.

В заключение, теория вероятностей является важным инструментом в программировании. Она позволяет анализировать и оценивать случайные события, использовать вероятностные алгоритмы, моделировать случайные процессы, и многое другое. Понимание основных понятий и принципов теории вероятностей поможет программистам эффективно решать различные задачи и создавать надежное программное обеспечение.

Математика для программистов: теория вероятностей

Некоторые программисты после работы в области разработки обычных коммерческих приложений задумываются о том, чтобы освоить машинное обучение и стать аналитиком данных. Часто они не понимают, почему те или иные методы работают, и большинство методов машинного обучения кажутся магией.

На самом деле, машинное обучение базируется на математической статистике, а та, в свою очередь, основана на теории вероятностей. Поэтому в этой статье мы уделим внимание базовым понятиям теории вероятностей: затронем определения вероятности, распределения и разберем несколько простых примеров.

Возможно, вам известно, что теория вероятностей условно делится на 2 части. Дискретная теория вероятностей изучает явления, которые можно описать распределением с конечным (или счетным) количеством возможных вариантов поведения (бросания игральных костей, монеток). Непрерывная теория вероятностей изучает явления, распределенные на каком-то плотном множестве, например на отрезке или в круге.

https://www.youtube.com/watch?v=_RRRG1h_lfs\u0026list=PLA0M1Bcd0w8w_eWvXGgWc3ukSUuJmbPps

Можно рассмотреть предмет теории вероятностей на простом примере. Представьте себя разработчиком шутера. Неотъемлемой частью разработки игр этого жанра является механика стрельбы. Ясно, что шутер в котором всё оружие стреляет абсолютно точно, будет малоинтересен игрокам. Поэтому, обязательно нужно добавлять оружию разброс.

Но простая рандомизация точек попадания оружия не позволит сделать его тонкую настройку, поэтому, корректировка игрового баланса будет сложна. В то же время, используя случайные величины и их распределения можно проанализировать то, как будет работать оружие с заданным разбросом, и поможет внести необходимые корректировки.

Пространство элементарных исходов

Допустим, из некоторого случайного эксперимента, который мы можем многократно повторять (например, бросание монеты), мы можем извлечь некоторую формализуемую информацию (выпал орел или решка). Эта информация называется элементарным исходом, при этом целесообразно рассматривать множество всех элементарных исходов, часто обозначаемое буквой Ω (Омега).

Структура этого пространства целиком зависит от природы эксперимента. Например, если рассматривать стрельбу по достаточно большой круговой мишени, — пространством элементарных исходов будет круг, для удобства размещенный с центром в нуле, а исходом — точка в этом круге.

Кроме того, рассматривают множества элементарных исходов — события (например, попадание в «десятку» — это концентрический круг маленького радиуса с мишенью).

В дискретном случае всё достаточно просто: мы можем получить любое событие, включая или исключая элементарные исходы за конечное время.

В непрерывном же случае всё гораздо сложнее: нам понадобится некоторое достаточно хорошее семейство множеств для рассмотрения, называемое алгеброй по аналогии с простыми вещественными числами, которые можно складывать, вычитать, делить и умножать.

Множества в алгебре можно пересекать и объединять, при этом результат операции будет находиться в алгебре. Это очень важное свойство для математики, которая лежит за всеми этими понятиями. Минимальное семейство состоит всего из двух множеств — из пустого множества и пространства элементарных исходов.

Мера и вероятность

Вероятность — это способ делать выводы о поведении очень сложных объектов, не вникая в принцип их работы.

Таким образом, вероятность определяется как функция от события (из того самого хорошего семейства множеств), которая возвращает число — некоторую характеристику того, насколько часто может происходить такое событие в реальности.

Для определённости математики условились, что это число должно лежать между нулем и единицей.

Кроме того, к этой функции предъявляются требования: вероятность невозможного события нулевая, вероятность всего множества исходов единичная, и вероятность объединения двух независимых событий (непересекающихся множеств) равна сумме вероятностей. Другое название вероятности — вероятностная мера. Чаще всего используется Лебегова мера, обобщающая понятия длина, площадь, объём на любые размерности (n-мерный объем), и таким образом она применима для широкого класса множеств.

Вместе совокупность множества элементарных исходов, семейства множеств и вероятностной меры называется вероятностным пространством. Рассмотрим, каким образом можно построить вероятностное пространство для примера со стрельбой в мишень.

Рассмотрим стрельбу в большую круглую мишень радиуса R, в которую невозможно промахнуться. Множеством элементарных событий положим круг с центром в начале координат радиуса R. Поскольку мы собираемся использовать площадь (меру Лебега для двумерных множеств) для описания вероятности события, то будем использовать семейство измеримых (для которых эта мера существует) множеств.

«Когда карета превращается в тыкву» или что делать, если ещё вчера ты – перспективный специалист, а уже сегодня – «нулевой» руководитель?

Примечание На самом деле, это технический момент и в простых задачах процесс определения меры и семейства множеств не играет особой роли. Но понимать, что эти два объекта существуют, необходимо, ведь во многих книгах по теории вероятности теоремы начинаются со слов: «Пусть (Ω,Σ,P) — вероятностное пространство …».

Как уже сказано выше, вероятность всего пространства элементарных исходов должна равняться единице. Площадь (двумерная мера Лебега, которую мы обозначим λ2 (A), где А — событие) круга по хорошо известной со школы формуле равна π *R2. Тогда мы можем ввести вероятность P(A) = λ2 (A) / (π *R2), и эта величина уже будет лежать между 0 и 1 для любого события А.

Если предположить, что попадание в любую точку мишени равновероятно, поиск вероятности попадания стрелком в какую-то то область мишени сводится к поиску площади этого множества (отсюда можно сделать вывод, что вероятность попадания в конкретную точку нулевая, ведь площадь точки равна нулю).

Например, мы хотим узнать, какова вероятность того, что стрелок попадёт в «десятку» (событие A — стрелок попал в нужное множество). В нашей модели, «десятка» представляется кругом с центром в нуле и радиусом r. Тогда вероятность попадания в этот круг P(A) = λ2/(A)π *R2 = π * r2/(π R2)= (r/R)2.

Это одна из самых простых разновидностей задач на «геометрическую вероятность», — большинство таких задач требуют поиска площади.

Случайные величины

Случайная величина — функция, переводящая элементарные исходы в вещественные числа. К примеру, в рассмотренной задаче мы можем ввести случайную величину ρ(ω) — расстояние от точки попадания до центра мишени. Простота нашей модели позволяет явно задать пространство элементарных исходов: Ω = {ω = (x,y) такие числа, что x2+y2 ≤ R2}. Тогда случайная величина ρ(ω) = ρ(x,y) = x2+y2.

Средства абстракции от вероятностного пространства. Функция распределения и плотность

Хорошо, когда структура пространства хорошо известна, но на самом деле так бывает далеко не всегда. Даже если структура пространства известна, она может быть сложна.

Для описания случайных величин, если их выражение неизвестно, существует понятие функции распределения, которую обозначают Fξ(x) = P(ξ < x) (нижний индекс ξ здесь означает случайную величину). Т.е.

это вероятность множества всех таких элементарных исходов, для которых значение случайной величины ξ на этом событии меньше, чем заданный параметр x.

Функция распределения обладает несколькими свойствами:

1. Во-первых, она находится между 0 и 1.
2. Во-вторых, она не убывает, когда ее аргумент x растёт.
3. В третьих, когда число -x очень велико, функция распределения близка к 0, а когда само х большое, функция распределения близка к 1.

Вероятно, смысл этой конструкции при первом чтении не слишком понятен.

Одно из полезных свойств — функция распределения позволяет искать вероятность того, что величина принимает значение из интервала.

Итак, P (случайная величина ξ принимает значения из интервала [a;b]) = Fξ(b)-Fξ(a). Исходя из этого равенства, можем исследовать, как изменяется эта величина, если границы a и b интервала близки.

Пусть d = b-a, тогда b = a+d. А следовательно, Fξ(b)-Fξ(a) = Fξ(a+d) — Fξ(a). При малых значениях d, указанная выше разность так же мала (если распределение непрерывное).

Имеет смысл рассматривать отношение pξ(a,d)= (Fξ(a+d) — Fξ(a))/d.

Если при достаточно малых значениях d это отношение мало отличается от некоторой константы pξ(a), не зависящей от d, то в этой точке случайная величина имеет плотность, равную pξ(a).

Примечание Читатели, которые ранее сталкивались понятием производной, могут заметить что pξ(a) — производная функции Fξ(x) в точке a. Во всяком случае, можно изучить понятие производной в посвященной этой теме статье на сайте Mathprofi.

Теперь смысл функции распределения можно определить так: её производная (плотность pξ, которую мы определили выше) в точке а описывает, насколько часто случайная величина будет попадать в небольшой интервал с центром в точке а (окрестность точки а) по сравнению с окрестностями других точек. Другими словами, чем быстрее растёт функция распределения, тем более вероятно появление такого значения при случайном эксперименте.

Вернемся к примеру. Мы можем вычислить функцию распределения для случайной величины, ρ(ω) = ρ(x,y) = x2+y2, которая обозначает расстояние от центра до точки случайного попадания в мишень. По определению Fρ(t) = P(ρ(x,y) < t). т.е.

множество {ρ(x,y) < t)} — состоит из таких точек (x,y), расстояние от которых до нуля меньше, чем t. Мы уже считали вероятность такого события, когда вычисляли вероятность попадания в «десятку» — она равна t2/R2.

Таким образом, Fρ(t) = P(ρ(x,y) < t) = t2/R2, для 0