Линейная регрессия

• Модель $𝑦=𝑎𝑥+𝑏+\mathrm{\epsilon }$ связи между величинами x и y называют линейной регрессией или моделью линейной регрессии.

• Пусть есть два набора совместных наблюдений за двумя случайными величинами в некотором случайном опыте – набор ${𝑥}_1, \dots , {𝑥}_{𝑛}$ и набор соответствующих значений ${𝑦}_1, \dots , {𝑦}_{𝑛}$. Тогда уравнение линейной регрессии:

${𝑦}_{𝑘}=𝑎{𝑥}_{𝑘}+𝑏+{\mathrm{\epsilon }}_{𝑘}$, то есть ${\mathrm{\epsilon }}_{𝑘}={𝑦}_{𝑘}-\left(𝑎{𝑥}_{𝑘}+𝑏\right)$.

• Число ${\mathrm{\epsilon }}_{𝑘}$ понимают как случайное отклонение от строгой прямой $𝑦=𝑎𝑥+𝑏$ при каждом отдельном наблюдении k.

• Метод наименьших квадратов – это метод определения коэффициентов а и b, основанный на уменьшении суммы квадратов случайных отклонений:

${\mathrm{\epsilon }}_1^2+{\mathrm{\epsilon }}_2^2+ \dots + {\mathrm{\epsilon }}_{𝑛}^2\to \mathrm{m}\mathrm{i}\mathrm{n}.$

• Формулы коэффициентов а и b, которые следуют из метода наименьших квадратов:

  • $𝑎=\frac{\mathrm{c}\mathrm{o}\mathrm{v} \left(𝑥, 𝑦\right)}{{\mathrm{\sigma }}_{𝑥}^2}$, где $\mathrm{c}\mathrm{o}\mathrm{v} \left(𝑥, 𝑦\right)$ – ковариация случайных величин x и y, ${\mathrm{\sigma }}_{𝑥}$ – среднеквадратичное отклонение случайной величины x;

  • $𝑏=\stackrel{-}{𝑦}-𝑎\cdot \stackrel{-}{𝑥}$, где $\stackrel{-}{𝑥}$ и $\stackrel{-}{𝑦}$ – среднее значение случайных величин x и y.