Рассмотрим одномерную случайную величину Х, принимающую n- значений
качественный Атрибутивный ряд распределения Распределение рабочих по профессии Предприятий по форме собственности Вариационный ряд распределения (Распределение коммерческих банков по объему активов) Варианты значений изучаемого признака, встречающегося в совокупности; Частота, соответствующая каждому варианту значения изучаемого признака Изучаемый признак Количественный (дискретный)
Существуют три формы вариационного ряда : ранжированный, дискретный, интервальный.
Ранжированный ряд — это перечень отдельных единиц совокупности в порядке возрастания (убывания) изучаемого признака. Пример Сведения о крупных банках Санкт-Петербурга, ранжированных по размерам собственного капитала на 01.10.2013 г. Название банка Собственный капитал, млн руб. Балтонэксим банк 169 Банк «Санкт-Петербург» 237 Петровский 268 Балтийский 290 Промстройбанк 1007 x 1 ≤ x 2 ≤ … ≤ x i ≤ x i +1 ≤ …≤ x n. Элемент x i называется i -й порядковой статистикой. Основные порядковые статистики: x (1) = min { x ( i ) } – наименьшее значение x ( n ) = max { x ( i ) } – наибольшее ( максимальное) значение.
Если признак принимает небольшое число значений, то строится дискретный вариационный ряд. Например, распределение футбольных матчей по числу забитых мячей. Дискретный вариационный ряд – это таблица, состоящая из двух строк: конкретных значений варьирующего признака и числа единиц совокупности с данным значением признака (частотами). Эти частоты называют эмпирическими. Сгруппированный дискретный вариационный ряд графически представляют в виде гистограммы или полигона. Значения признака x i x (1) x (2) … x ( i ) … x ( k ) Частоты m i m 1 m 2 … m i … m k
Сгруппированный кумулятивный дискретный вариационный ряд представляет собой значения признака х i, указанные вместе с соответствующими накопленными частотами m i н или частостями w i н = m i н / n. Накопленные частоты показывают, сколько единиц совокупности имеют значения признака не больше, чем верхняя граница интервала. Значени я признака x i x (1) x (2) … x ( k ) Накопленная частота m i н m 1н = m 1 m 2н = m 1 + m 2 …
Частоты ряда (m i ) могут быть заменены частостями ( w i = m i / n ) ряда, которые представляют собой частоты, выраженные в относительных числах (долях или процентах): Замена частот частостями позволяет сопоставить вариационные ряды с различным числом наблюдений. Производственный стаж (лет) Число рабочих, m Частость, w Накоплена я частота, S в долях в % До 5 2 0,022 (2 /90) 2,2 2 5-10 22 0,245 (22/90) 24,5 24 10-15 48 0,533 53,3 72 15-20 16 0,178 17,8 88 20 и более 2 0,022 2,2 90 Итого 90 1,000 100,0
Гистограмма ( histogram ) - диаграмма в виде столбцов, по оси абсцисс которой отображаются все возможные значения переменной, по оси ординат – частоты встречаемости m i каждого значения или относительные частоты – доли, частости ( m i / n ). Гистограмма была введена в статистическую практику Карлом Пирсоном в 1895 г. Share of distribution
Полигон – графическое изображение сгруппированного дискретного вариационного ряда в виде ломаной, соединяющей точки, по оси абсцисс соответствующие всем возможным значениям признака, а по оси ординат - значениям частот m i или относительных частот w i = m i / n. Полигон позволяет оценить распределение частот значений дискретной переменной, выявить наиболее часто ( мода ) и редко встречающиеся значения признака.
Сгруппированный кумулятивный дискретный вариационный ряд графически представляют в виде кумуляты. Кумулята – графическое изображение сгруппированного кумулятивного дискретного вариационного ряда в виде столбцов, при построении которого по оси абсцисс откладывают все возможные значения признака, по оси ординат - накопленные частоты или накопленные относительные частоты, относящиеся к данному значению. Кумулята показывает количество (или долю) объектов совокупности, значения признака которых не превышают заданного значения.
Для построения кумуляты используем накопленные частоты График кумуляты позволяет найти число объектов, имеющих значения признака, не превышающее заданного. Например, 24 страницы имеют число опечаток не превышающее 5 (от 0 до 5 опечаток).
Построение интервального вариационного ряда начинают с определения числа интервалов k. Число интервалов не должно быть слишком малым, т.к. при этом гистограмма получается слишком сглаженной ( oversmoothed ), теряет особенности изменчивости исходных данных. Число интервалов не должно быть слишком большим – иначе мы не сможем оценить плотность распределения изучаемых данных по числовой оси – гистограмма получится «недосглаженная» ( undersmoothed ), с незаполненными интервалами, неравномерная.
В 1926 г. Герберт Стерджес ( Herbert Sturges ) предложил формулу для вычисления количества интервалов, на которые необходимо разбить исходное множество значений изучаемого признака. Приблизительное число интервалов s, которое необходимо выбрать при группировке и построении гистограммы для n результатов измерений СВ, полученных из нормально распределенной ГС определяется по правилу Стерджеса как: Ширина интервалов h, на которые необходимо разбить всю область возможных значений исследуемого признака по имеющимся наблюдениям { х 1,х 2,…,х n }, определяется как:
Метод Дэвида Скотта Дэвид Скотт ( David W. Scott ) в 1979 г. предложил следующую формулу для вычисления оптимальной ширины интервалов h : где S – среднее квадратическое отклонение. Метод квадратного корня ( Square-root choice ) – число интервалов h выбирается равным квадратному корню из числа наблюдений n :
Число интервалов для небольших выборок обычно берут 5–6 при n <50, 6-8 – от 50 до 100 наблюдений; 8-10 классов при n >100 с расчетом, чтобы интервалы были достаточно наполнены частотами. Считается, что формула Стерджеса позволяет строить удовлетворительные гистограммы при числе измерений менее 200. Для больших массивов информации, например, порядка 10 4 -10 9 наблюдений, правило Стерджеса может приводить к слишком сглаженным гистограммам. асимметричные распределения требуют бóльшего числа интервалов группировки.
Основные идеи при исследовании формы распределения ( Share of distribution ) Графическое представление исходных данных (точечное распределение ( Dotplot ); листовая диаграмма ( Stemplot ); гистограмма ( Histogram ). Характеристики положения СВ; Ранговые характеристики СВ; Характеристики разброса СВ; Исследование нормальности распределения ( Normal Distribution ) Диагностика выбросов (Ящичковая диаграмма Boxplot ) Правило 68-95-99,7 ( The 68-95-99,7 Rule ) Z- преобразование.
Графическое представление исходных данных Для изучения формы распределения можно использовать следующие графические возможности Точечное распределение ( Dotplot ); Диаграмма стебель-листья ( Stemplot ).
Рассмотрим 31 оценку по 50 бальной системе, которую получили студенты статистического отделения на экзамене 28 38 42 33 29 28 41 40 15 36 27 34 22 23 28 50 42 46 28 27 43 29 50 29 32 34 27 26 27 41 18 Dotplot ( точечное распределение) Необходимо рассмотреть 3 типа графиков, которые помогут сделать вывод о характере распределения: Dotplot ( точечное распределение), Stemplot, Histogram
X min =15 Х max=50 28 38 42 33 29 28 41 40 15 36 27 34 22 23 28 50 42 46 28 27 43 29 50 29 32 34 27 26 27 41 18 1 58 2 23677778888999 3 234468 4 0112236 5 00 ? Левосторонняя или правостороння асимметрия стебель листья
28,3; 27,5; 28,1; ….. 0,0018; 0.0023; 0,0021;…. this stemplot breaks the heights into increments of 2 inches стебель листья 5 9 6 00001111 6 2222233333333333 6 44444444555555555555555 6 6666666666666777777777777777 6 888888888899999999 7 00 7 2
Исследование формы распределения ( Shape of the data ) Нахождение характеристик положения случайной величины ( Center of the data ) средней, моды и медианы (mean, median, mode) ;
Погода в определенном пункте земного шара в один и тот же день в разные годы может быть очень различной. Например, в Санкт-Петербурге 31 марта температура воздуха за сто с лишним лет наблюдений колебалась от -20,1° в 1883 г. до +12,24° в 1920 г. Примерно такие же колебания наблюдаются и в другие дни года. По таким индивидуальным данным о погоде в какой-то произвольно взятый год нельзя составить представление о климате Санкт-Петербурга. Характеристики климата - это средние значения за длительный период времени.
Мода может быть не единственной. Если два или несколько значений переменной обладают одинаковой максимальной частотой, то в этом случае распределения называются бимодальными и полимодальными. ! Для описания категориальных переменных не используются никакие числовые характеристики (например, «средний пол»). Единственной полезной характеристикой является мода. Мода
Медиана ( median) – значение признака, приходящееся на середину ранжированного ряда наблюдений. Положение медианы определяется ее номером. ( нечетный и четный ряд)
Хотя среднее и медиана характеристики центра, которые используются для описания характера распределения, медиана является наиболее устойчивой оценкой (менее подвержена влиянию экстремальных наблюдений).
Пример Зарплата 5 школьных учителей в колледже США составила $32,700; $32,700; $38,500; $41,600; $44,500. Среднее значение и медиана составляют $38, 160 ; $ 38, 5 00. Преподаватель более высокой квалификации заменил коллегу во время болезни. Его зарплата составляет $ 174,300. В этом случае медиана не изменится и составит $ 38, 5 00, а среднее значение увечится до $ 64, 120
Ранговые характеристики – варианты, занимающие в ранжированном вариационном ряду определенное место. К их числу относятся квартили ( Q), квинтили, децили (D), перцентили (P). Квартили ( Q) – значения признака, которые делят ранжированный ряд на четыре равные по числу единиц части: первая квартиль Q 1, вторая Q 2 и третья Q 3. Вторая квартиль является медианой. Определение положения квартили n - общее число единиц совокупности. Q 1 Q 2 Q 3
Децили – значения признака, которые делят ранжированный ряд на десять равных по численности частей ( всего 9 ). Расчет децилей аналогичен расчету квартилей. При растете децилей определяют сначала порядковые номера каждой из девяти децилей: По накопленным частотам в ДР определяют местоположение децилей и их значения.
Перцентили – значения признака, которые делят ранжированный ряд на 100 равных по числу единиц частей. (всего 99).
Алгоритм описания данных: Исследование характеристик разброса (рассеяния) случайной величины Вариация (размах вариации и коэффициент вариации) Межквартильная разница ( interquartile Range ), Квартильное отклонение, Относительный показатель квартильной вариации; Относительное линейное отклонение. Дисперсия, стандартное отклонение.
Вариация признака – различие индивидуальных значений признака у единиц совокупности в один и тот же период или момент времени. Разность наибольшего и наименьшего значений признака называется размахом вариации: R = x n - x 1 = x max - x min. Размах служит самостоятельной характеристикой разброса значений изучаемого признака. Используется не часто, т.к. хотим знать как точки распределяются вокруг центра.
Относительные показатели вариации: Коэффициент вариации является безразмерной величиной и вычисляется по формуле Наиболее распространенный коэффициент (часто используется на практике). Совокупность считается однородной, если коэффициент вариации не превышает 33%.
Межквартильная разница ( interquartile Range )- IQR IQR=Q3-Q1 Me=Q2 IQR может не включать в себя 50 % наблюдений. Пример : Определить Q3 и Q1 для следующего ряда: 5 5 6 7 8 9 11 13 17 Медиана ? позиция Me= 8 Левая часть 5 5 6 7 Q1=5,5 Правая часть 9 11 13 17 Q3=12 IQR =Q3-Q1= 12-5,5=6,5
Квартильное отклонение - d k Применяется вместо размаха вариации, чтобы избежать недостатков, связанных с использованием крайних значений.
Квартильное отклонение - d k Применяется вместо размаха вариации, чтобы избежать недостатков, связанных с использованием крайних значений. Относительный показатель квартильной вариации или
Относительное линейное отклонение где - среднее линейное отклонение
Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница ( interquartile Range ) Выбросы ( outliers )
Нормальный закон - это один из многих типов распределений, имеющихся в природе, с относительно большим удельным весом практической применимости. В случае отклонения исследуемых экспериментальных данных от нормального закона существуют два пути его использования: а) использовать его в качестве первого приближения ; при этом оказывается, что подобное допущение дает достаточно точные с точки зрения конкретных целей исследования результаты; б) подобрать такое преобразование исследуемой случайной величины Х, которое видоизменяет исходный «ненормальный» закон распределения, превращая его в нормальный.
Функция плотности Функция распределения
Наиболее распространённый Предельный Непрерывная случайная величина Х имеет нормальный закон распределения с параметрами μ и σ, если её плотность вероятности имеет вид: где μ – математическое ожидание СВ; σ 2 – дисперсия, σ – среднее квадратическое отклонение Основные законы распределения случайных величин Нормальный закон распределения f(x) N( μ, σ ) μ - σ μ μ + σ x σ 1 < σ < σ 2 N( μ, σ 1 ) N( μ, σ 2 )
Свойства нормального распределения : 1. Кривая нормального распределения расположена над осью ОХ, 2. При плотность распределения стремится к 0. Кривая распределения асимптотически приближается к оси ОХ 3. В точке плотность нормального распределения имеет максимум 4. Кривая нормального распределения симметричная относительно точки Математическое ожидание, мода и медиана совпадают
Свойства нормального распределения : 5. Кривая распределения имеет две точки перегиба с координатами 6. Форма нормальной кривой не изменяется при изменении математического ожидания (кривая сдвигается вдоль оси ОХ) При изменении меняется форма кривой 7. При плотность распределения вероятности называется нормированной плотностью, а ее график – нормированной нормальной кривой распределения
Правило «68-95-99,7» «Правило одной сигмы» «Правило двух сигм» «Правило трёх сигм» f(x) N( μ, σ ) μ -3 σ μ μ +3 σ x 0,9973 Если случайная величина X имеет нормальный закон распределения X є N( μ, σ ), то практически достоверно, что её значения заключены в интервале ( μ -3 σ ; μ +3 σ ) (Вероятность «выброса» составляет 0,0027)
Для изучения формы распределения необходимо рассчитать коэффициенты асимметрии и эксцесса ? Симметричное ли распределение (форма распределения, холмообразная или нет) Скос Ассиметрия Бимодальность Однородность.
3. Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница ( interquartile Range ) Выбросы ( outliers ) Для характеристики особенностей формы распределения применяются показатели асимметрии и эксцесса. µ 3 – центральный момент третьего порядка; µ 4 – центральный момент четвертого порядка. Относительный показатель асимметрии
Асимметрия ( skewness ) показывает, в какую сторону относительно среднего сдвинуто большинство значений распределения. Нулевое значение асимметрии означает симметричность распределения относительно среднего значения, что соответствует нормальному закону распределения. Чем больше абсолютная величина коэффициента, тем больше степень скошенности.
3. Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница ( interquartile Range ) Выбросы ( outliers ) Относительный показатель асимметрии
Оценка степени существенности асимметрии осуществляется с помощью средней квадратической ошибки: Если, асимметрия существенна и распределения признака в ГС не является симметричным. Если, асимметрия несущественна, ее наличие объясняется влиянием случайных факторов. skewed right skewed left
Для симметричных распределений рассчитывают показатель эксцесса ( kurtosis ), характеризующего крутизну вершины ( островершинность ). Для симметричных распределений E k =0 (в нормальном распределении крутизна вершины, равная нулю, взята за эталон). в случае островершинности распределения E k >0, в случае плосковершинности распределения E k < 0.
3. Вариация (размах вариации и коэффициент вариации) Стандартное отклонение Межквартильная разница ( interquartile Range ) Выбросы ( outliers )
Средняя относительная ошибка эксцесса вычисляется по формуле:
Считается, что распределение с эксцессом и асимметрией в диапазоне от -1 до +1 приблизительно соответствует нормальному распределению. В большинстве случаев вполне допустимо считать нормальным распределение с асимметрией и эксцессом по модулю не превосходящими 3 ( более мягкое правило ).
Анализ выбросов очень важен, так как позволяет увидеть, что какой-то объект является нетипичным, необычным. Когда мы контролируем какой-то процесс, то такая информация является сигнальной. Нахождение выбросов базируется на среднем значении медиане.
Диагностика с использованием среднего значения Определяют сколько стандартный отклонений от точки до среднего значения. Часто определяют, что выброс – это точка, которая отстоит от среднего значения белее, чем на 2 σ или 3 σ. В случае симметричного распределения (НЗР) только 5 % точек (2 σ ) и 0,3 % точек (3 σ ) имеют вероятность попасть в выбросы.
Правило «68-95-99,7» f(x) N( μ, σ ) μ -3 σ μ μ +3 σ x 0,9973 Если случайная величина X имеет нормальный закон распределения X є N( μ, σ ), то практически достоверно, что её значения заключены в интервале ( μ -3 σ ; μ +3 σ ) (Вероятность «выброса» составляет 0,0027)
Диагностика выбросов с использованием медианы Правило 1,5 IQR ( 1,5 IQR rule) - «мягкое правило» IQR ( IQR=Q3-Q1 ) Multiply IQR by 1,5 Find Q1-1,5 (IQR) and Q3+1,5(IQR) Any value below Q1-1,5 (IQR) or above Q3+1,5(IQR) is an outlier
Правило 1,5 IQR ( 1,5 IQR rule) IQR ( IQR=Q3-Q1 ) Multiply IQR by 1,5 Find Q1-1,5 (IQR) and Q3+1,5(IQR) Any value below Q1-1,5 (IQR) or above Q3+1,5(IQR) is an outlier Правило 3 IQR (3 IQR rule) : Выброс или экстремальное значение в том случае, если наблюдение отличается от Q 1 и Q3 более, чем на три IQR.
Медиана ½ выборки ½ выборки Верхний квартиль Нижний квартиль Максимум Минимум ¼ выборки ¼ выборки ½ выборки min max Ус Ус Межквартильный размах Длина ящика Минимум Нижний квартиль Верхний квартиль Максимум Медиана «Ящик с усами» или box-plot используется в описательной статистике и показывает 5 статистик выборки 1 2 3 4 5 «Ящик с усами» может быть построен в любой ориентации! Большинство стат. пакетов по умолчанию используют вертикальную Связь с плотностью распределения
Центрированность Разброс Размер хвоста Симметричность «Ящик с усами» выступает как индикатор 4-х характеристик выборки Центрированность Бокс-плот выборки из 20 наблюдений с серединой – 7 Бокс-плот выборки из 20 наблюдений с серединой –12 Разброс Бокс-плот выборки из 20 наблюдений с серединой в 10 и станд.отклон 1 Бокс-плот выборки из 20 наблюдений с серединой в 10 и станд.отклон 3 Симметричность Бокс-плот выборки из 20 наблюдений с симметричным распределением Бокс-плот выборки из 20 наблюдений с распределением скошенным направо Размер хвоста Бокс-плот выборки из 20 наблюдений с длинным хвостом Бокс-плот выборки из 20 наблюдений с коротким хвостом
«Ящик с усами» также позволяет диагностировать наличие выбросов В SPSS предусмотрена процедура идентификации выбросов. Значения, которые превышают 3 длины коробки получают «красную карточку» и помечаются как «звезды». Значения, которые лежат в интервале 1,5-3 длины коробки помечаются как выбросы и получают «желтую карточку». Чем ближе распределение к нормальному, тем меньше «звезд» и «выбросов». Зона « красных карточек» - «звезды» Зона « желтых карточек» - «выбросы» 3 длины коробки 1,5 длины коробки Точки – значения переменной Медиана ½ выборки ½ выборки ¼ выборки ¼ выборки ½ выборки Нижний квартиль Верхний квартиль Межквартильный размах Длина ящика Ус Ус
Построение графика в Excel происходит в 3 этапа Вычисление необходимых параметров для графика 1 Выбор подходящей диаграммы 2 Редактирование диаграммы 3 Five-Number Summary
Определение позиции точки в распределении на сколько стандартных отклонений она выше или ниже среднего значения. Это позволяет сделать Z- преобразование (z-score). Например: если z 3 =1,5 - это означает, что 3 на Пример Петр сдал тест на 68. при этом средняя оценка для группы составляет 73, при s=3. Определить Z- преобразование для Петра Оценка Петра на 1,67 s меньше средней оценки в группе.
Если исследуемый признак имеет непрерывный характер, то необходимо выбрать оптимальное число интервалов группировки признака. Для группировки непрерывных случайных величин весь вариационный размах признака R = x ( n ) - x (1) разбивают на некоторое количество интервалов k. C группированным интервальным (непрерывным) вариационным рядом называют ранжированные по значению признака интервалы ( a i ≤ x < b i ), где i = 1,2, … k, указанные вместе с соответствующими частотами ( m i ) числа наблюдений, попавших в i -й интервал, или относительными частотами ( m i / n ). Интервалы значений признака a i ÷ b i a 1 ÷b 1 a 2 ÷b 2 … a i ÷b i … a k ÷b k Частота m i m 1 m 2 … m i … m k
Гистограмма и кумулята (огива) строятся для непрерывных данных так же, как и для дискретных, только с учетом того, что непрерывные данные сплошь заполняют область своих возможных значений, принимая любые значения. Высота столбика соответствует частоте m i – числу наблюдений, попавших в данный интервал, или относительной частоте m i / n – доле наблюдений. Интервалы не должны пересекаться, и должны, как правило, иметь одинаковую ширину. Гистограмма и кумулята являются эмпирическими оценками функций плотности вероятности и функции распределения СВ.
выборочная (эмпирическая) функция распределения выборочная (эмпирическая) функция плотности выборочная (эмпирическая) относительная частота появления i-ro возможного значения дискретной случайной величины выборочные начальные и центральные моменты анализируемой случайной величины: - выборочное среднее значение - выборочная дисперсия Показатели формы распределения (ассиметрия, эксцесс)
Эмпирическая (или выборочная, т. е. построенная по выборке объема n) функция распределения: где m x - число наблюдаемых значений исследуемой случайной величины в выборке х 1, х 2, …, х n, меньших х; m i - число наблюдаемых значений в выборке, попавших в i-й интервал группирования, iх - номер самого правого из интервалов группирования, правый конец которых не превосходит х. По сгруппированным данным
Выборочная (эмпирическая) относительная частота: которая определяется как отношение числа наблюдений в выборке, равных, к общему объему выборки n. Накопленная частота - сумма частот i-го и всех предшествующих интервалов.
Для построения эмпирической (выборочной) функции плотности на всей области ее определения (т,е, для всех возможных значений исследуемой величины) используют предварительно сгруппированные данные и полагают где к(х) - порядковый номер интервала группирования, который накрывает точку х; m k(x) - число наблюдений, попавших в этот интервал, - длина интервала. Геометрическое изображение эмпирической функции плотности наз. гистограммой.
Расчет описанных характеристик является первым этапом анализа собранных статистических данных и позволяет Обосновать некоторые закономерности исследуемого процесса Выбрать статистический инструментарий
Распределение предприятий по региона по величине розничного товарооборота в текущем году.
