Николай Вячеславович Павлов pavlov@kafedrapik.ru
2 2*2=4 Быть или не быть? Это самое важное, надо знать на 100%!!! Это надо решить и записать!!!
5 Существуют три вида лжи: ложь, наглая ложь и статистика» There are three kinds of lies: lies, damned lies, and statistics Авторство приписывается: премьер-министру Великобритании Бенджамину Дизраэли (Марк Твен); Чарльзу Дилку ( Математический факультет Йоркского университета); журналисту и политику Генри Лабушеру ; Марку Твену (ошибочно) « М ир нуждался в этой фразе, и несколько человек могли бы гордиться, придумав её » [ Колин Уайт ] http://www.tandfonline.com/doi/abs/10.1080/00031305.1964.10482634?journalCode=utas20 &
[ http ://vas3k.ru/blog/379 / ] Для многих статистика сродни алхимии и черной магии, что и позволяет любому так просто делать даже банальные манипуляции в этой области. На деле же статистика — это точная наука, которая одновременно весьма сложна и довольно проста. Проста тем, что её основные методы, которые и нужны простым людям и СМИ, разработаны лет 100 назад 6
Сложна же она тем, что она не объясняет причинно-следственных связей. Статистика лишь может сказать, что данное распределение в определенных случаях имеет значимость с определенной ошибкой на определенной выборке, релевантность которой не всегда доказуема. 7
Скажите молодой матери, что среднестатистический ребенок начинает ходить в год, и она на 11-й месяц изведет бедного поцана упражнениями, несмотря на среднее отклонение чуть ли не в пол года. Спросите у людей на улицах, сколько лет их родителям, и вы удивитесь, насколько многие ответят круглую цифру типа 55-60-65, просто потому что не помнят точно. Но по прежнему в заголовки типа « 86.4% питавшихся здоровой пищей людей добились успеха » хочется сразу поверить, не правда ли? 8
9
11
12 Пророчества Нострадамуса
13 Есть данные только о выживших
Средняя зарплата = ? Среднее арифметическое Среднее хронологическое Среднее геометрическое Медиана Мода А какова ошибка расчета? Средние разные? 14
15
16
18 Кто это? Где это?
19 Умозрительная теория Проверка и измерение: надо устранить влияние посторонних факторов Часы Шорта
20 Динамический закон – это физический закон, отображающий объективную закономерность в форме однозначной связи физических величин, выражаемых количественно. Динамическая теория - физическая теория, представляющая совокупность динамических законов.
21
22 Экспериментально получено соотношение 3,0095:1,0, близкое к теоретически ожидаемому 3:1. Проанализировано более 8 тыс. семян.
23 Необходимая, устойчивая, повторяющаяся связь между событиями, проявляющаяся только в их множестве. Предсказания по статистическим законам – вероятностные. В массовых событиях действуют случайные факторы (при большом числе молекул в газе, особей в биологических популяциях, людей в социальных группах ). Во множестве случайные факторы компенсируются. Статистические законы – единственно возможная форма исследований массовых событий случайного характера.
24 Экономические законы — устойчивые, существенные причинно-следственные, повторяющиеся взаимосвязи между экономическими явлениями и процессами. Экономические законы — это проявление устойчивых отношений между людьми, складывающихся в процессе производства, распределения, обмена и потребления, которые в то же время проявляются как интересы.
25 Совокупная полезность Условия применения Однородность единиц. Нельзя рассматривать яблоки и бананы, зелёные и красные яблоки, кислые и сладкие яблоки. Неизменность вкусов потребителя. Непрерывность потребления, без паузы. Постоянство цен. Вид кривой индивидуален (и не очень интересен – слишком абстрактно)
26
27 Для физиков это даже не статистические законы Слишком много факторов, в чистом виде не встречаются Нельзя проверить классическими методами Проявляются лишь в большом количестве элементов исследования
28 Статистика находится на стыке естественных и гуманитарных наук. Качественные методы = социологические, экономические, биологические, географические. (Что изучать) Количественные методы статистического анализа = методы математической статистики, теории вероятностей, теории размытых множеств и других. (Как изучать)
30 Условия хозяйствования постоянно меняются. Даже экономические циклы не повторяются. Однотипные события человеческой деятельности узнаваемы, но не с точностью лабораторного опыта Статистики в ее классическим понимании нет, так как нет однородных событий при неизменных внешних условиях наблюдения
31 В широком смысле – любое исследование одного или нескольких объектов как с познавательной, так и с практической целью. Объект исследования отбирается типологически на основе имеющейся информации. Предполагается, что он характерен для всего класса явлений. В узком смысле – обследование одного или нескольких объектов в рамках хорошо разработанной теории. Напоминает case study. Цель - постановка точного социального диагноза, например, оценка организационной структуры конкретного предприятия.
32 Возможность получения глубокой информации о скрытых механизмах социальных отношений, о неформальных отношениях. Понимание социальной реальности: уникальности каждого объекта + общие черты для дальнейшего обобщения. Потребности в как самовыражении, самоутверждении определяются индивидуальностью и желанием. Изучение = casestudy. Изучаются уникальные явления здесь и сейчас
33 Получение больших исходных объемов разноплановой избыточной информации, которая не найдет применения в оценках и анализе. Ограниченные возможности получения строгих научных результатов. Возможная субъективность. Отсутствие логичных обоснований возможных рамок обобщения. Не решается задача выявления степени распространяемости полученных выводов
34 Номотетический подход = сравнение индивидов с определенной точки зрения. Личностные черты одинаковы для всех, но в разной степени. scienta non est individuorum (наука не занимается частными случаями) + Широта, точность, воспроизводимость, возможность прогнозирования. - Отсутствие яркости, жизненности. Идеографический подход = интенсивное изучение одного индивида без сопоставления его данных с другими. Самоописания, описания других лиц, объективные измерения личности. + Глубина, яркость, жизненность, уникальность, всесторонний подход к личности. - Недостаточная точность, несистематичность данных, субъективизм интерпретации Изучения уникального случая недостаточно для выявления закономерности
35 Свободное наблюдение. Фиксируется все, что наблюдается; выбор того, что фиксировать осуществляется в процессе; оценка достоверности данных затруднена; наблюдаемое не прогнозируется. Кейс- стади. Описательный, качественный характер данных; узкая направленность исследования; высокая степень детализации; ориентация на динамику наблюдаемого процесса, а не на результаты. Характерен анализ рассказов испытуемых, которые ретроспективны по натуре. Это вызывает специфические проблемы: забывание, сдвиг событий во времени; мотивированное забывание. Основная проблема метода – субъективность. Анализ девиантного случая = сравнительный анализ двух контрастных случаев. Исследовательское интервью. Направленная форма диалогической беседы, цель которого – получение интервьюером значимой информации.
36 Эффект Геллера (способность сгибать ложки) Уникальное сочетание условий, редко можно повторить по заказу Есть лаборатории по изучению таких явлений, но результатам многие не верят
37 Status – политическое состояние положение вещей Stato ( итал.) – государство Statista ( итал.) – знаток государства 1746, Готфрид Ахенвалль предложил заменить название курса « Государствоведение » на «Статистику».
39
У мужчин – 114 лет, у женщин – 115,7 года Исследовались более 75 тысяч жителей Нидерландов, умерших в период с 1986 по 2016 годы в возрасте старше 94 лет. За последние 30 лет максимальная продолжительность человеческой жизни не изменилась, что свидетельствует о том, что предел достигнут. Основные положительные факторы: - регулярная физическая активность; - отказ от курения; - умеренное употребление алкогольных напитков - сбалансированная диета. Основные отрицательные факторы: - апатия; - отсутствие мотивации. Разработанная программа корректно предсказала продолжительность жизни для 69% добровольцев, выяснив, какие пациенты умрут в ближайшие пять лет. 40
41 Первые известные упоминания о статистике: ХХIII век до нашей эры Китай (учет скота, имущества); в Древнем Риме проводились цензы (учет) граждан, имущества. Античность. Списки военнообязанных: списки полноправных граждан. Земельные кадастры: сведения о строениях, рабах, скоте, инвентаре, получаемых доходах. Описания государств. Аристотель (384-322 гг. до н.э.) составил описание 157 городов и государств своего времени.
42
43 Традиционная работа с данными Работа с большими данными
44
1. Система объективной количественной информации о состоянии и развитии социально-экономических объектов www.gks.ru. 46
47
48
49 Причины смерти в РФ в 2015 году
2. Вид трудовой деятельности по сбору, обработке и анализу массовой информации. 50
Представление в установленном порядке статистической информации гражданам и организациям; Разработка и совершенствование статистической методологии в соответствии с международными стандартами ; Разработка и совершенствование системы социальных и экономических статистических показателей; №1? Сбор статистической информации, формирование официальной статистической отчетности; Контроль за выполнением законодательства РФ в области государственной статистики; Развитие информационной системы государственной статистики; Обеспечение хранения государственных информационных ресурсов; Реализация международных обязательств Российской Федерации в области статистики (членство в организациях и договоры). – тема реферата 51
ОКПО – предприятия и организации. Порядковый номер в Статрегистре ОКАТО – объекты административно-территориального деления ОКТМО – территории МО ОКОГУ – органы государственной власти и управления ОКФС – форм собственности 52
ОКВЭД – виды экономической деятельности (Минэкономразвития) Роль? ОКПД 2 – продукция по видам экономической деятельности – ( Росстандарт ) ТНВЭД товарная номенклатура внешнеэкономической деятельности (Федеральная таможенная служба) Роль = ? 53
Инструментальное средство структурирования информации. Систематизированный перечень объектов (видов деятельности, организаций, продукции и т.д.), каждому из которых присваивается определенный код (=?) для последующей идентификации объектов. Классификаторы являются обязательными для применения при создании государственных информационных систем и ресурсов 54
3. Общественная наука и искусство сбора, обработки и анализа массовой информации. 55
56
4. Числовые данные, например, количество родившихся в СПб в 2017 году 5. Числа, описывающие выборку (средний возраст подписчиков журнала) в отличие от параметров – чисел, описывающих весь объект исследования. 6. Процедуры анализа данных и их результаты (t- статистика) 57
Объект изучения статистики – статистическая совокупность = множество однокачественных варьирующих явлений. Предмет статистики – количественная сторона массовых социально-экономических явлений в неразрывной связи с их качественной стороной. 58
Выявление и описание закономерности – тенденции, проявляющейся в массе явлений благодаря действию закона больших чисел. 59
60
61
63 Множество однокачественных ( это как на рисунке? ) варьирующих объектов или явлений = единиц совокупности
64 Элемент исследования = носитель признаков, подлежащих регистрации
65 Предел деления статистической совокупности при условии сохранения основных ее свойств Примеры!
66 Наличие у всех единиц совокупности определенного набора основных свойств (признаков ) Благодаря этому они и составляют единую совокупность. Примеры: страны мира; малые предприятия РФ; крупные предприятия США; население Земли в трудоспособном возрасте; пенсионеры РФ; студенты СПбПУ.
67 Признаки студентов = ? Нет ли лишнего элемента? Какие единицы совокупности в статьях (выше)?
Атрибутивные и количественные: Количественные: дискретные, непрерывные. Атрибутивные: порядковые, номинальные. Первичные и вторичные. Признак-фактор, признак-результат (зависимая переменная – независимая, причина - следствие). 68
Каков тип признака? Рост человека Вес арбуза Доход на семью Температура воздуха Курс в университете Оценка за экзамен Номер паспорта Количество комнат в квартире Количество этажей дома 69
70 Различия в индивидуальных значениях признаков у единиц совокупности в конкретных условиях места и времени. Вариация – неотъемлемое свойство любой статистической совокупности. Именно наличие вариации породило необходимость самой статистики, статистических методов. Наличие вариации является условием развития любых систем.
Методология науки = система знаний о принципах построения, формах и способах организации научного познания, а также о способах установления степени достаточной обоснованности и верифицированности знаний, получаемых в процессе научного исследования естественных (природных) и социальных явлений. Статистическая методология = система приемов, способов и методов изучения количественных закономерностей, проявляющихся в структуре, динамике и взаимосвязях социально-экономических явлений. 72
Необходимы: достоверность (а для теоретических построений — доказательность, обоснованность научным опытом ) точность и полнота; глубина или существенность отображаемых свойств и отношений изучаемых объектов. Перед количественным изучением объекта следует понять его качественные особенности Объекты изучаются в сравнении, взаимосвязи и развитии 73
Нет беспричинных явлений, нет явлений, которые не порождали бы тех или иных следствий. Первопричина О причинности нельзя судить только по наблюдениям Бессмысленно настаивать на абсолютно исчерпывающем познании всех причинно-следственных связей [ Энгельс ] Причинность никогда не реализуется в «чистом» виде, освобождённом от присутствия других форм связи, и только в абстракции может быть отделена от них. Объект изучается на основе гипотезы или теории. Надо понять суть! Причинность 74
Сравнение – сопоставление объектов для обнаружения сходства и различия. Анализ – разложение изучаемого объекта на составные части, стороны, свойства и изучение их. Синтез – объединение полученных в результате анализа частей объектов, их сторон или свойств в единое целое. Индукция – логический переход от частного к общему, результат которого имеет вероятностный характер Дедукция – логический переход от общего к частному; выведение по правилам логики достоверных заключений. Аналогия – вывод о наличии признака у исследуемого объекта на основе сходства, существующего в других признаках. (?) Гипотеза – выдвижение догадки и ее последующая проверка. 76
1. Статистическое наблюдение. 2. Сводка - систематизация, сжатие, уплотнение исходных данных. 3. Анализ информации, оценка статистических гипотез. 77
Научно организованный сбор массовой информации, заключающийся в регистрации значений признаков у каждой единицы совокупности. Результат наблюдения = массивы данных. 79
Позволяет оценить средний = типический уровень изучаемого признака; оценить степень вариации изучаемого признака относительно типического уровня; изучить структуру совокупности (распределение единиц по данному признаку); подобрать теоретическое распределение, которому соответствует изучаемое эмпирическое распределение. 80
Возможность изучения связи = зависимости между признаками, включая построение соответствующей модели. Пример = ? Возможность оценить совокупное влияние нескольких факторов на интересующий исследователя признак и ранжировать факторы по степени их влияния на результат. 81
82
1. По степени охвата единиц совокупности: сплошное ; несплошное. 2. По времени проведения: текущее (непрерывное); периодическое ; единовременное. 3. По форме: непосредственное наблюдение ; документальное – по документам, в т.ч. по обязательным статистическим отчетам; опрос – информация от респондентов. 83
Выборочное – случайный выбор элементов Монографическое – обследование отдельных единиц с редкими качественными свойствами Для выдвижения гипотез; Статистика обнаруживает выбросы Метод основного массива – изучаются наиболее существенные элементы. Как изучать рынок авиаперевозок? Метод моментных наблюдений – наблюдение в определенные моменты времени. Как учитывать рабочее время? 84
Экспедиционный – регистраторы получают информацию от респондентов и сами ее фиксируют. Саморегистрация – респонденты сами заполняют бланки, возможно, по инструкциям интервьюеров. Корреспондентский – добровольцы сообщают информацию Анкетный – по вопросникам Явочный – респонденты сами приносят информацию в органы. 85
Ошибки регистрации Ошибки репрезентативности (для выборочного; отобранные элементы не точно воспроизводят исходную совокупность) Примеры = ? Случайные Систематические 86
Счетный = арифметический Логический = проверка смысловой взаимосвязи между признаками Какие возможны логические ошибки? 87 Пример анкеты Возраст, лет __ Семейное положение: женат/замужем_; нет_ Грамотность да__ нет __
Мониторинг — непрерывный процесс наблюдения и регистрации параметров объекта, в сравнении с заданными критериями. Мониторинг — система сбора/регистрации, хранения и анализа небольшого количества ключевых признаков объекта для вынесения суждения о поведении/состоянии данного объекта в целом. 88
Четко формулируются цели и задачи наблюдения ( средний доход жителя СПб в сентябре 2017 года ). Определяется объект наблюдения: должен быть назван основной признак (признаки), по которому единицы будут включены в статистическую совокупность, определены границы совокупности. Житель СПб = ? Определяется время и место проведения наблюдения Варианты = ? 89
Определяются методы сбора, обработки и анализа информации Определяется форма представления результатов наблюдения и анализа ( будем изучать ). Разрабатывается программа наблюдения. Программа наблюдения – это перечень признаков, значения которых будут регистрироваться, или перечень вопросов, на которые предстоит получить ответы. Проводится наблюдение. 90
Подготовка кадров Каких? Разработка и подготовка формуляров наблюдения. 91
92
93
94
95
97 Сводка материалов наблюдения = обобщение единичных данных с целью обнаружения типичных черт и закономерностей, присущих изучаемому явлению в целом. Простая сводка = подсчет общих данных по совокупности единиц наблюдения. Сложная сводка : группировка данных наблюдения; подсчет общих и групповых итогов; получение системы взаимосвязанных показателей представление результатов в виде статистических таблиц.
Качественно-количественная характеристика свойства совокупности. Качество – сущность показателя Количество – численное значение Статистические показатели получаются расчетным путем 98
99
100 абсолютные ; относительные ; средние.
Отражают величину признака всей совокупности или группы. Характеризуют объем совокупности в целом или отдельных ее групп. - Индивидуальные - Групповые - Общие Абсолютные показатели – это всегда именованные величины. Примеры = ? 101
Отношение абсолютных величин или ранее рассчитанных относительных показателей. Выражаются в коэффициентах (база 1 ); в процентах (база 100 ); в промилле (база 1000 ) или являются именованными числами. Примеры! 102
относительные показатели динамики – сопоставление во времени; относительные показатели структуры – отношение части к целому; относительные показатели выполнения плана; относительные показатели координации – соотношение двух частей одного целого; пространственное сравнение – соотношение одноименных характеристик по разным совокупностям. Примеры = ? 103
относительные показатели интенсивности характеризуют интенсивность распространения того или иного явления в определенной среде. Плотность населения СПб 3764, 49 чел./км 2 ВВП на душу населения 2017, USD /чел: Люксембург: 108004, 9 ; РФ: 8664, 06 ; Малави 301. Показатели интенсивности – именованные величины ! 104
Тип показателей = ? Плотность населения СПб в 2017: 3764,49 чел./км 2. Численность населения СПб в 2017: 5 281 579 чел. Численность населения СПб в 2010 (перепись): 4848,7 тыс. чел, из которых 2209,6 тыс. ( 45,57 % ) — мужчины; 2639,1 тыс. ( 54,43 % ) — женщины [5] . Около 70 % горожан имеют высшее образование. 105
Социально-экономические явления сугубо индивидуальны, но устойчивы в массе При расчете средних величин происходит взаимопогашение влияния случайных факторов. Средние величины характеризуют типический уровень признака в совокупности. 107
Обязательное условие для расчета средних – качественная и количественная однородность изучаемой совокупности. 108
«.. статистическое среднее представляет собой категорию объективной действительности. Типическое среднее – это истинная величина, отклонения от которой могут быть только случайными.» Адольф Кетл ’ е (бельгийский математик, астроном, социолог, родоначальник научной статистики, 1796-1874). 109
110
Структурные средние мода, медиана. Степенные средние средняя арифметическая, средняя геометрическая, средняя гармоническая, средняя квадратическая, средняя кубическая Средняя хронологическая 111
Мода - наиболее часто встречаемое значение признака в совокупности. Используется, например, при изучении покупательского спроса. Для дискетных значений – просто. Для непрерывных переменных используются модальный интервал 112
Медиана - значение признака у статистической единицы, стоящей в середине ранжированного ряда и делящей совокупность на две равные по численности части, 113 или полусумма значений двух элементов, ближайших к середине упорядоченного ряда
Какая переменная исследуется? Мода = ? Медиана = ? Где тут ранжирование? Где тут 2 равные части? Какое значение признака в середине ряда? 114
115 n - объем совокупности (число единиц в совокупности); Х i - значение признака у i -й единицы совокупности. Имеет ли смысл средняя температура по больнице?
116 f i - число единиц с данным значением признака ( вес); Х i - значение признака. Пример : Оценки «5» получили 4 чел; оценку «2» получили 2 чел. Средневзвешенная = ? Имеет ли смысл средний балл?
Произведение средней арифметической на сумму частот равно сумме произведений индивидуальных значений признака на соответствующие частоты: Сумма отклонений индивидуальных значений признака от средней величины всегда равна нулю: 117
Сумма квадратов отклонений индивидуальных значений признака от средней величины всегда меньше суммы квадратов отклонений индивидуальных значений от любой другой произвольной величины А: 118
119 Если все частоты умножить или разделить на одно и то же число, то средняя не изменяется. Примеры = ? Если все индивидуальные значения увеличить или уменьшить на одну и ту же постоянную величину, то средняя увеличивается или уменьшается на эту же величину. Примеры = ?
Средняя гармоническая используется в тех случаях когда известны индивидуальные значения признака и произведение, а частоты неизвестны. Пример Урожайность х известна, площадь f неизвестна (хотя её можно вычислить делением валового сбора зерновых на урожайность), валовый сбор зерна x*f известен. 120
121
k - число сомножителей в подкоренном выражении; Х i - значение признака у i - й единицы; П –знак произведения. 122
123
Пример В банк был вложен 1 млн руб. Проценты ежегодно капитализировались. Процентная ставка по годам разная Каков средний рост за 5 лет? 124 Ставка Сумма 12% 1*(1,12) 10% 1*(1,12)*(1,1) 5% 1*(1,12)*(1,1)*(1,05) 0,1% 1*(1,12)*(1,1)*(1,05)*(1,001) 7% 1*(1,12)*(1,1)*(1,05)*(1,001)*(1,07) = 34% = 1,385536152 Ответ: среднее геометрическое темпов роста
125
Средняя величина квадратных участков по известной стороне Средняя площадь сечение труб Степень варьируемости признака, его изменчивости = среднеквадратическое отклонение Почему квадрат, а не просто сумма? Среднеквадратическое отклонение = типовое отклонение отдельных элементов от среднего значения Применения средней квадратической 126
127
129 Номинальная Порядковая Интервальная Относительная Шкала Характеристики Номинальная Мода Порядковая + медиана Интервальная + арифметическое среднее Относительная + геометрическое среднее
Задача о трех пассажирах плота 130
131
Объединение отдельных единиц статистической совокупности в однородные группы по одному или нескольким признакам. Признак, положенный в основу группировки, называется группировочным. Простая группировка – по одному признаку Комбинационная – по нескольким. 133
Выделение и описание объективно существующих типов и групп (типологическая группировка) Изучение структуры совокупности и оценка структурных сдвигов (структурная группировка) Изучение связей и зависимостей между признаками (аналитическая группировка) Вид таблиц может быть одинаковый, группировка определяется целью 134
135
136
137
138 При аналитической группировке изучается зависимость.
http://human.snauka.ru/2014/06/7186 «Коллектив исследователей Краснодарского государственного университета культуры и искусств и Варшавского вуза им. Марии Склодовской-Кюри провел анкетирование польских и русских студентов, включающее вопросы об организации свободного времени, уровне удовлетворенности выбором факультета и т.п. Цель анкетирования - выяснить отличия в развитии молодежи разных стран, сравнить их взгляды, досуг или определить сходства.» Типологическая? Структурная? Аналитическая? Как провести группировку при изучении жителей СПб? 139
140
141 Как найти закономерность? Группировкой по интервалам
Выбор вида группировки и группировочного признака ( простая, по интервалам ); Определение числа выделяемых групп зависит от типа группировочного признака и объема совокупности ( см. ниже ); Величина группировочного интервала определяется расчетным путем ( диапазон изменения признака делится на равные части ). 142
143 Что это?
144
145
146
147 Что это?
148
149
150 Какой график лучше = полезнее? Что видно?
151 Нежелательны пустые группы Желателен один максимум Желательно монотонное убывание от максимума И побольше групп при выполнении условий 1 и 2. Для устранения неопределенности границ считают, что нижняя граница интервала включает в себя указанное значение, а верхняя – нет.
Чем плохо мало групп? Много? До 20 элементов – три группы Почему? Формула Стёрджеса : 152
153 Пример: 1000 человек. Сколько интервалов? Какова величина интервала?
