СИНГУЛЯРНОЕ РАЗЛОЖЕНИЕ В ЛИНЕЙНОЙ ЗАДАЧЕ МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ (стр. 2 из 7)
(7)Далее из (3) и (5) следует, что
.Из (4) следует
Подставляя оба последних выражения в (7) получим
Последнее выражение имеет минимальное значение
при R11y1=g1, а в этом уравнении единственным решением является 
, так как ранг матрицы R11 равен к. Общее решение y выражается формулой 
, где y2 произвольно. Для вектора 
имеем 
,что устанавливает равенство (3). Среди векторов
наименьшую длину имеет тот, для которого y2=0. Отсюда следует, что решением наименьшей длины будет вектор 
. Теорема доказана.Всякое разложение матрицы А типа (2) мы будем называть ортогональным разложением А. Заметим, что решение минимальной длины, множество всех решений и минимальное значение для задачи минимизации ||Ax-b|| определяются единственным образом. Они не зависят от конкретного ортогонального разложения.
При проведении разложения необходимо приводить матрицы к диагональному виду. Для этого обычно используются два преобразования: Гивенса и Хаусхолдера, оставляющие нормы столбцов и строк матриц неизменными.
1.2. Ортогональное вращение Гивенса
Лемма. Пусть дан 2–вектор
, причем 
либо 
.Существует ортогональная 2´2 матрица такая, что: 
(8)Доказательство. Положим:
.Далее прямая проверка.
Матрица преобразования представляет собой матрицу вращений
или отражений
1.3. Ортогональное преобразование Хаусхолдера
Применяется для преобразования матриц к диагональному виду. Матрица преобразования представляет из себя следующее выражение:
, (9)или, если вектор v нормирован, т.е. используется вектор единичной длины
, то 
. В обоих случаях H – симметричная и ортогональная матрица. Покажем это: 
.Отсюда следует: что
, т.е. симметричность и ортогональность. В комплексном случае матрица 
эрмитова[1] и унитарна[2]. Предположим, что дан вектор х размерности m, тогда существует матрица H такая, что 
, где 
а s = +1, при положительной первой компоненте вектора х и = –1, при отрицательной.
Доказательство. Положим
действительная матрица. Любую действительную матрицу можно привести в треугольному виду 
Далее принимаем во внимание то, что
и получаем следующее: 
1.4. Сингулярное разложение матриц
Пусть X – матрица данных порядка Nxp, где N>p, и пусть r – ранг матрицы X. Чаще всего r=p, но приводимый ниже результат охватывает общий случай, он справедлив и при условии r<p.
Теорема о сингулярном разложении утверждает, что
(10)где V – матрица порядка Nxr, столбцы которой ортонормированы, т.е.
; U – матрица с ортонормированными столбцами порядка pxr; таким образом, 
; Г – диагональная матрица порядка rxr, диагональные элементы которой 
, называемые сингулярными числами матрицы X, положительны. Используя диагональные элементы 
матрицы Г, столбцы 
матрицы V, и столбцы 
матрицы U, сингулярное разложение матрицы X, определяемое по (10), можно записать в виде: 
(11)Имеют место следующие фундаментальные соотношения.
· Квадратная симметричная матрица XX' порядка NxN, имеет r положительных и N–r нулевых собственных чисел. Положительными собственными числами XX' являются
, а соответствующими собственными значениями – 
. Таким образом, сингулярные значения 
– это положительные квадратные корни из положительных собственных чисел матрицы XX', а столбцы матрицы V – соответствующие собственные векторы.· Квадратная симметричная матрица X'X порядка pxp, имеет r положительных и p–r нулевых собственных чисел. Положительными собственными числами X'X являются
, а соответствующими собственными значениями – 
, таким образом, сингулярные значения 
– это положительные квадратные корни из положительных собственных чисел матрицы X'X, а столбцы матрицы U – соответствующие собственные векторы.Положительные собственные числа матрицы X'X и XX' совпадают и равны
. Более того, если um – собственный вектор матрицы X'X, а vm – собственный вектор матрицы XX', соответствующие одному и тому же собственному числу 
, то um и vm связаны следующим соотношением 
(12)Эти соотношения дают возможность вычислять
, зная 
, и наоборот. В компактной форме эти соотношения можно записать следующим образом: 
. (13)Исследование матрицы X'X в факторном анализе называется R-модификацией, а XX' – Q–модификацией. Соотношения (12)–(13) показывают, что результаты Q–модификации можно получить по результатам R–модификации и наоборот.
Практическая последовательность нахождения сингулярного разложения следующая.
1. Вычисляется X'X или XX', в зависимости от того, порядок какой матрицы меньше. Предположим, что в данном случае это X'X.
2. Вычисляются положительные собственные числа
матрицы X'X и соответствующие им собственные векторы .3. Находятся сингулярные числа
.