Институт кибербезопасности и цифровых технологий Кафедра информатики Основы машинного обучения Лекция 8. Регрессионный анализ данных Анна Геннадьевна Шмелева кандидат физико-математических наук, доцент shmeleva_a@mirea.ru В М Е С Т Е С О З Д А Ё М Б УД У Щ Е Е Этапы решения задач машинного обучения 1. Постановка задачи. 2. Сбор и подготовка данных. 3. Предобработка данных и выделение ключевых признаков. 4. Выбор алгоритмов машинного обучения. 5. Обучение модели (моделей). 6. Оценка качества. 7. Эксплуатация модели при достижении требуемого качества, либо возврат к одному из предыдущих шагов (перенастройка модели, добыча новых данных и т. п.). Кафедра информатики ИКБ РТУ МИРЭА Регрессионный анализ данных Современные тенденции цифровизации и внедрение информационных систем поддержки принятия решений в различные сферы определяют необходимость развития методов математического моделирования, применимых для анализа данных. Задачи Machine Learning Классификация Регрессия Кафедра информатики ИКБ РТУ МИРЭА Регрессионный анализ данных Задачи Machine Learning Классификация Регрессия Кафедра информатики ИКБ РТУ МИРЭА Цель анализа данных Задачи Machine Learning Выявить закономерности, найти зависимости, определить тенденцию изменения данных - это позволит эффективно принимать решения и разрабатывать обоснованные стратегии управления. Классификация Регрессия Кафедра информатики ИКБ РТУ МИРЭА Цель анализа данных Задачи Machine Learning Классификация Регрессия Кафедра информатики ИКБ РТУ МИРЭА Регрессионный анализ данных Кафедра информатики ИКБ РТУ МИРЭА Регрессионный анализ данных Задачи Machine Learning Классификация Регрессия Кафедра информатики ИКБ РТУ МИРЭА Понятие регрессии Регрессия – это зависимость среднего значения какой-либо величины от некоторой другой величины или от нескольких других величин. В отличие от чисто функциональной зависимости y=f(x), когда каждому значению независимой переменной х соответствует одно определённое значение зависимой переменной у, при регрессионной связи одному и тому же значению независимой переменной (фактору) х могут соответствовать в зависимости от конкретного случая различные значения зависимой переменной (отклика) у. Если при каждом значении х=хi наблюдается ni значений yij; то зависимость средних арифметических значений: 1 ni yi = ∑ yij ni j =1 от xi и является регрессией в статистическом понимании этого термина. Кафедра информатики ИКБ РТУ МИРЭА Задачи Machine Learning Классификация Регрессия Регрессия в задачах машинного обучения Изучение регрессии основано на том, что случайные величины Х и Y связаны между собой вероятностной зависимостью: при каждом конкретном значении Х = х величина Y является случайной величиной со вполне определённым распределением вероятностей. Зависимость зависимой переменной – отклика от одной независимой переменной – фактора или нескольких факторов называется уравнением регрессии. По количеству факторов выделяют парную (однофакторную) и множественную (многофакторную) регрессию. Виды аппроксимирующих функций могут быть разными для решения прикладных задач, поэтому регрессия может быть: линейной, показательной, экспоненциальной, гиперболической и параболической. Кафедра информатики ИКБ РТУ МИРЭА Регрессия Линейная Показательная Экспоненциальная Гиперболическая Параболическая Классификация в задачах машинного обучения Регрессионный анализ – это раздел математической статистики, изучающий регрессионную зависимость между случайными величинами по статистическим данным. Цель регрессионного анализа состоит в определении общего вида уравнения регрессии, вычислении оценок неизвестных параметров, входящих в уравнение регрессии проверке статистических гипотез о регрессионной связи. Таким образом, регрессионный анализ – набор статистических методов исследования влияния одной или нескольких независимых переменных на зависимую переменную. Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные – критериальными переменными. Кафедра информатики ИКБ РТУ МИРЭА Линейная регрессия Линейная регрессия (Linear regression) – модель зависимости переменной x от одной или нескольких других переменных (факторов, регрессоров, независимых переменных) с линейной функцией зависимости. Линейная регрессия относится к задаче определения «линии наилучшего соответствия» через набор точек данных и стала простым предшественником нелинейных методов, которые используют для обучения нейронных сетей. Определение расстояния между объектами класса Предположим, нам задан набор из 7 точек Цель линейной регрессии — поиск линии, которая наилучшим образом соответствует этим точкам. Напомним, что общее уравнение для прямой есть f (x) = b0 +b1⋅x, где b1 – наклон линии, а b0 – его сдвиг. Таким образом, решение линейной регрессии определяет значения коэффициентов, так что f(x) приближается как можно ближе к y. Кафедра информатики ИКБ РТУ МИРЭА Функция потерь — метод наименьших квадратов Функция потерь – это мера количества ошибок, которые наша линейная регрессия делает на наборе данных. Хотя есть разные функции потерь, все они вычисляют расстояние между предсказанным значением y(х) и его фактическим значением. Например, взяв строку из среднего примера выше, f(x)=−0.11⋅x+2.5, мы выделяем дистанцию ошибки между фактическими и прогнозируемыми значениями красными пунктирными линиями. Распространеной функцией потерь является функция средней квадратичной ошибки – Mean squared error (MSE). Чтобы вычислить MSE, необходимо рассчитать квадраты значения ошибок, как разность между эмпирическими данными и соответствующими им модельным, а после – усреднить: 𝑛𝑛 1 2 𝑀𝑀𝑀𝑀𝑀𝑀 = � 𝑌𝑌𝑖𝑖 − 𝑌𝑌�𝑖𝑖 . 𝑛𝑛 𝑖𝑖=1 Кафедра информатики ИКБ РТУ МИРЭА В машинном обучении MSE является широко представленным подходом к оценке ошибки благодаря простоте расчета и применимости в оценке точности регрессионной модели. Множественная регрессия Множественной называют линейную регрессию, в модели которой число независимых переменных две или более. Уравнение множественной линейной регрессии имеет вид: f(x1, x2, …, xn) =b0+b1x1+b2x2+⋯+bnxn Как и в простой линейной регрессии, параметры модели вычисляются при помощи метода наименьших квадратов. Отличие между простой и множественной линейной регрессией заключается в том, что вместо линии регрессии в ней используется гиперплоскость. Преимущество множественной линейной регрессии по сравнению с простой заключается в том, что использование в модели нескольких входных переменных позволяет увеличить долю объяснённой дисперсии выходной переменной, и таким образом улучшить соответствие модели данным. Т.е. при добавлении в модель каждой новой переменной коэффициент детерминации растёт. Кафедра информатики ИКБ РТУ МИРЭА Метод наименьших квадратов Ранее, мы узнали, что регрессионный анализ основан на методе наименьших квадратов, который требует, чтобы сумма квадратов отклонений экспериментальных значений от вычисленных по аппроксимирующей зависимости была минимальной. Метод наименьших квадратов (МНК) – один из наиболее часто используемых методов при обработке эмпирических данных, построении и анализе физических, биологических, технических, экономических и социальных моделей. С помощью МНК решают задачу выбора параметров функции (заранее заданного вида) для приближённого описания зависимости величины у от величины х. Исходные данные могут носить самый разнообразный характер и относится к различным отраслям науки или техники. Например, зависимость температура воздуха от высоты над уровнем моря и другие зависимости. Пусть необходимо установить функциональную зависимость между двумя эмпирическими данными x и y, значения которых занесены в таблицу вида ниже. x x1 x2 … xi … xn y y1 y2 … yi … yn Кафедра информатики ИКБ РТУ МИРЭА Линейная регрессия Точки ( хi ; уi ) координатной плоскости принято называть экспериментальными. Установим вид функции y = f (x) по характеру расположения на координатной плоскости экспериментальных точек. Если точки расположены так, как показано на рисунке справа, то разумно предположить, что между x и y существует линейная зависимость, выражающаяся формулой: y = kx + b Кафедра информатики ИКБ РТУ МИРЭА Уравнение регрессии можно представить в виде: y − (kx + b) = 0 Регрессионные модели Так как точки ( х1 ; у1 ) , ( х2 ; у2 ) , …, ( хn ; уn ) не обязательно лежат на одной прямой, то, подставляя вместо х и у значения координат этих точек в выражение , получаем равенства: y1 − (kx1 + b) = δ1 y 2 − (kx2 + b) = δ 2 y n − (kxn + b) = δ n где δ1 ,δ 2 , …, δ n – некоторые числа, которые называют погрешностями (отклонениями, невязками). Понятно, что чем меньше эти погрешности по абсолютной величине, тем лучше прямая, задаваемая уравнением y = kx + b, описывает зависимость между экспериментально полученными значениями x и y. Сущность метода наименьших квадратов заключается в подборе коэффициентов k и b таким образом, чтобы сумма квадратов погрешностей была как можно меньшей: n n S = δ + δ + ... + δ = ∑ δ = ∑ ( yi − (kxi + b)) 2 → min 2 1 Кафедра информатики ИКБ РТУ МИРЭА 2 2 2 n i =1 2 i i =1 Регрессионные модели n n Отметим, что в равенстве находится сумма именно i =1 i =1 квадратов погрешностей, так как в случае суммирования самих погрешностей сумма может оказаться малой за счет разных знаков погрешностей. Так как xi и yi – заданные числа, а k и b – неизвестные, то сумму S можно рассмотреть как функцию двух переменных k и b: . Исследуем ее на экстремум. Необходимое условие существования экстремума функции двух переменных: S = δ12 + δ 22 + ... + δ n2 = ∑ δ i2 = ∑ ( yi − (kxi + b)) 2 ∂S ∂k = 0, ∂S = 0; ∂b n n ∂S = 2 ∑ ( yi − (kxi + b)) (− xi ) = −2 ∑ ( yi − (kxi + b)) xi , ∂k i =1 i =1 n n ∂S = 2 ∑ ( yi − (kxi + b)) (−1) = −2 ∑ ( yi − (kxi + b)). ∂b i =1 i =1 Кафедра информатики ИКБ РТУ МИРЭА Регрессионные модели Приравнивая эти частные производные к нулю, получаем линейную систему двух уравнений с двумя переменными k и b: n ( yi − (kxi + b)) xi = 0, − 2 ∑ i =1 n − 2 ∑ ( yi − (kxi + b)) = 0. i =1 n Преобразуя первое уравнение системы, получим: Преобразуя второе уравнение системы, получим: Кафедра информатики ИКБ РТУ МИРЭА n − ∑ yi xi + k ∑ x + b∑ xi = 0 i =1 i =1 n n i =1 i =1 2 i i =1 − ∑ yi + k ∑ xi + bn = 0 n n Откуда имеем нормальную n 2 xi + b∑ xi = ∑ yi xi , k ∑ систему: i =1 i =1 i =1 n n k ∑ xi + bn = ∑ yi . i =1 i =1 n Регрессионные модели Из этой системы находим k и b, которые затем подставляем в уравнение и получаем искомое уравнение прямой. Тот факт, что функция S = S (k , b) в найденной точке (k , b) имеет именно минимум, устанавливается с помощью частных производных второго порядка. n n ∂2S 2 х x х = − − = 2 ( ) 2 ( ) , ∑ ∑ i i i 2 ∂k i =1 i =1 2 ∂ S = −2 ⋅ ∑ (−1) = 2n, 2 ∂b i =1 n n n ∂2S = −2 ∑ (− xi ) = 2 ∑ xi . ∂k ∂b i =1 i =1 2 2 2 2 ∂ S ∂ S ∂ S Вычислим: ∆ = . ⋅ − ∂k 2 ∂b 2 ∂k ∂b 2 n n 2 Получим: ∆ = 4n∑ ( хi ) − 2 ∑ xi = 2∑∑ ( xi − x j ) . i =1 i =1 j =1 i =1 n 2 n Кафедра информатики ИКБ РТУ МИРЭА Очевидно, ∆ > 0, следовательно, в найденной точке (k , b) функция S = S (k , b) имеет экстремум; ∂2S а так как ∂k 2 > 0, то, согласно достаточному условию экстремума функции двух переменных, в точке (k , b) функция имеет минимум. Регрессионные модели Полученная функция y = kx + b называется линейной регрессией, а коэффициенты k и b – коэффициентами регрессии (величины у на х). Зависимость между экспериментально полученными величинами может быть близка к квадратичной. В этом случае задача состоит в нахождении коэффициентов a2, a1, a0 для составления уравнения вида y = a2 x 2 + a1 x + a0. Можно доказать, что для определения коэффициентов a2, a1, a0 следует решить систему уравнений: n a + a n x + a n x 2 = n y , ∑ i i 2∑ i 0 1∑ i =1 i =1 i =1 n n n n 3 2 a0 ∑ xi + a1 ∑ xi + a2 ∑ xi = ∑ xi yi , i =1 i =1 i =1 i =1 n n n n 2 4 2 3 + + = a x a x a x x yi . ∑ ∑ ∑ ∑ i 2 1 i i 0 i i =1 i =1 i =1 i =1 Кафедра информатики ИКБ РТУ МИРЭА Институт кибербезопасности и цифровых технологий Кафедра информатики Спасибо за внимание! Анна Геннадьевна Шмелева кандидат физико-математических наук, доцент shmeleva_a@mirea.ru В М Е С Т Е С О З Д А Ё М Б УД У Щ Е Е