Bab 14

Proyeksi & Kuadrat Terkecil

Bab 12 dan Bab 13 membekali kita dengan konsep komplemen ortogonal serta algoritma stabil pembersihan matriks via dekomposisi QR. Bab ini akan mengaplikasikan instrumen-instrumen tersebut untuk memecahkan sebuah dilema rekayasa yang paling sering dijumpai dalam dunia nyata: apa yang harus kita lakukan ketika sebuah sistem persamaan linear tidak memiliki solusi sama sekali? Melalui pilar Teorema Proyeksi Ortogonal, kita akan belajar mencari solusi kompromi terbaik yang meminimalkan galat geometris. Skenario optimasi ini melahirkan metode Kuadrat Terkecil (Least Squares), sebuah fondasi matematis utama di balik pemodelan regresi linear, estimasi parameter data, serta algoritma kecerdasan buatan modern.

14.1 Teorema Proyeksi Ortogonal

Ketika sebuah sistem persamaan linear $A\mathbf{x} = \mathbf{b}$ dinyatakan inkonsisten, hal tersebut secara geometris berarti bahwa vektor target data $\mathbf{b}$ terletak di luar ruang bentangan kolom dari matriks koefisien $A$ ($\mathbf{b} \notin \text{Col}(A)$). Karena kita tidak mungkin memaksakan sistem untuk mencapai vektor $\mathbf{b}$, strategi terbaik adalah mencari sebuah vektor aproksimasi terdekat, dinotasikan sebagai $\hat{\mathbf{b}}$, yang masih berada di dalam subruang tersebut.

Prinsip geometri dasar menyatakan bahwa jarak terpendek dari sebuah titik di luar subruang menuju subruang tersebut dicapai dengan cara menarik garis lurus yang tegak lurus (ortogonal) terhadap subruang terkait. Vektor titik kaki tegak lurus inilah yang disebut sebagai **proyeksi ortogonal**.

Gambar 14.1: Dekomposisi ortogonal vektor $\mathbf{b}$ menjadi titik terdekat $\hat{\mathbf{b}}$ di dalam bidang $W$ dan sisa residu $\mathbf{z}$.

Definisi 14.1 — Proyeksi Ortogonal Vektor pada Subruang

Misalkan $W$ bertindak sebagai sebuah subruang dari ruang hasil dalam berdimensi terhingga $V$. Untuk setiap elemen vektor sebarang $\mathbf{b} \in V$, terdapat sebuah pemetaan unik yang memecah vektor tersebut menjadi jumlah dari dua komponen vektor terpisah:

\[ \mathbf{b} = \hat{\mathbf{b}} + \mathbf{z} \]

Di mana komponen vektor $\hat{\mathbf{b}}$ diwajibkan berada di dalam subruang $W$ ($\hat{\mathbf{b}} \in W$), dan disebut sebagai proyeksi ortogonal dari $\mathbf{b}$ pada subruang $W$ (dinotasikan secara baku sebagai $\text{proj}_W \mathbf{b}$). Sementara itu, komponen vektor $\mathbf{z}$ diwajibkan berada di dalam subruang komplemen ortogonal dari $W$ ($\mathbf{z} \in W^\perp$).

Teorema 14.1 — Teorema Proyeksi Ortogonal

Misalkan $W$ adalah sebuah subruang dari ruang hasil dalam $V$, dan letakkan sebuah himpunan basis ortonormal untuk subruang $W$ sebagai $\{\mathbf{q}_1, \mathbf{q}_2, \ldots, \mathbf{q}_k\}$. Maka untuk setiap elemen vektor sebarang $\mathbf{b} \in V$, komponen vektor proyeksi ortogonal $\text{proj}_W \mathbf{b}$ dapat dihitung secara langsung melalui formulasi penjumlahan hasil dalam:

\[ \text{proj}_W \mathbf{b} = \langle\mathbf{b}, \mathbf{q}_1\rangle\mathbf{q}_1 + \langle\mathbf{b}, \mathbf{q}_2\rangle\mathbf{q}_2 + \cdots + \langle\mathbf{b}, \mathbf{q}_k\rangle\mathbf{q}_k \]

Jika basis yang tersedia untuk membangun subruang $W$ berupa basis ortogonal biasa (panjang tidak sama dengan satu), dinotasikan sebagai $\{\mathbf{v}_1, \mathbf{v}_2, \ldots, \mathbf{v}_k\}$, maka rumus perhitungan disesuaikan menjadi:

\[ \text{proj}_W \mathbf{b} = \frac{\langle\mathbf{b}, \mathbf{v}_1\rangle}{\|\mathbf{v}_1\|^2}\mathbf{v}_1 + \frac{\langle\mathbf{b}, \mathbf{v}_2\rangle}{\|\mathbf{v}_2\|^2}\mathbf{v}_2 + \cdots + \frac{\langle\mathbf{b}, \mathbf{v}_k\rangle}{\|\mathbf{v}_k\|^2}\mathbf{v}_k \]

Contoh 14.1 — Perhitungan Proyeksi Ortogonal Vektor pada Bidang Dua Dimensi

Misalkan sebuah subruang bidang $W$ di dalam ruang tiga dimensi $\mathbb{R}^3$ dibangun oleh rentangan sepasang basis ortogonal yaitu $\mathbf{v}_1 = \begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix}$ dan $\mathbf{v}_2 = \begin{bmatrix} -1 \\ 1 \\ 2 \end{bmatrix}$. Hitunglah nilai komponen vektor proyeksi ortogonal $\text{proj}_W \mathbf{b}$ dari elemen vektor target $\mathbf{b} = \begin{bmatrix} 2 \\ 4 \\ 6 \end{bmatrix}$.

Penyelesaian Analitis:

Langkah 1: Verifikasi Validitas Sifat Basis Ortogonal

Kita uji ketegaklurusan antara kedua vektor pembangun melalui perkalian titik:

\[ \langle\mathbf{v}_1, \mathbf{v}_2\rangle = (1)(-1) + (1)(1) + (0)(2) = -1 + 1 + 0 = 0 \quad (\checkmark) \]

Karena hasilnya nol, formulasi baris kedua dari Teorema 14.1 dijamin aman digunakan.

Langkah 2: Perhitungan Hasil Dalam dan Panjang Kuadrat

\[ \langle\mathbf{b}, \mathbf{v}_1\rangle = (2)(1) + (4)(1) + (6)(0) = 2 + 4 + 0 = 6, \qquad \|\mathbf{v}_1\|^2 = 1^2 + 1^2 + 0^2 = 2 \]

\[ \langle\mathbf{b}, \mathbf{v}_2\rangle = (2)(-1) + (4)(1) + (6)(2) = -2 + 4 + 12 = 14, \qquad \|\mathbf{v}_2\|^2 = (-1)^2 + 1^2 + 2^2 = 6 \]

Langkah 3: Evaluasi Penjumlahan Koefisien Proyeksi Linear

Substitusikan seluruh nilai komponen skalar ke dalam rumus proyeksi:

\[ \text{proj}_W \mathbf{b} = \frac{6}{2}\mathbf{v}_1 + \frac{14}{6}\mathbf{v}_2 = 3\begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix} + \frac{7}{3}\begin{bmatrix} -1 \\ 1 \\ 2 \end{bmatrix} \]

\[ \text{proj}_W \mathbf{b} = \begin{bmatrix} 3 \\ 3 \\ 0 \end{bmatrix} + \begin{bmatrix} -\frac{7}{3} \\[4pt] \frac{7}{3} \\[4pt] \frac{14}{3} \end{bmatrix} = \begin{bmatrix} 3 - \frac{7}{3} \\[4pt] 3 + \frac{7}{3} \\[4pt] 0 + \frac{14}{3} \end{bmatrix} = \begin{bmatrix} \frac{2}{3} \\[4pt] \frac{16}{3} \\[4pt] \frac{14}{3} \end{bmatrix} = \frac{1}{3}\begin{bmatrix} 2 \\ 16 \\ 14 \end{bmatrix} \]

Kesimpulan: Vektor proyeksi ortogonal dari $\mathbf{b}$ pada subruang $W$ adalah $\hat{\mathbf{b}} = \frac{1}{3}\begin{bmatrix} 2 \\ 16 \\ 14 \end{bmatrix}$. Elemen ini bertindak sebagai koordinat titik terdekat yang paling logis di dalam domain bidang terkait. ∎

Contoh 14.2 — Proyeksi Menggunakan Basis Ortonormal (Perbandingan)

Normalisasikan kedua vektor basis dari Contoh 14.1 menjadi basis ortonormal, lalu hitung ulang $\text{proj}_W \mathbf{b}$ menggunakan rumus baris pertama Teorema 14.1 untuk memverifikasi konsistensi hasil.

Penyelesaian Analitis:

Langkah 1: Konstruksi Basis Ortonormal

\[ \mathbf{q}_1 = \frac{\mathbf{v}_1}{\|\mathbf{v}_1\|} = \frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix}, \qquad \mathbf{q}_2 = \frac{\mathbf{v}_2}{\|\mathbf{v}_2\|} = \frac{1}{\sqrt{6}}\begin{bmatrix} -1 \\ 1 \\ 2 \end{bmatrix} \]

Langkah 2: Hitung Hasil Dalam dengan Basis Ortonormal

\[ \langle\mathbf{b}, \mathbf{q}_1\rangle = \frac{1}{\sqrt{2}}(2 + 4 + 0) = \frac{6}{\sqrt{2}} = 3\sqrt{2} \]

\[ \langle\mathbf{b}, \mathbf{q}_2\rangle = \frac{1}{\sqrt{6}}(-2 + 4 + 12) = \frac{14}{\sqrt{6}} = \frac{7\sqrt{6}}{3} \]

Langkah 3: Evaluasi Proyeksi tanpa Pembagi Norma

\[ \text{proj}_W \mathbf{b} = (3\sqrt{2})\,\frac{1}{\sqrt{2}}\begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix} + \left(\frac{7\sqrt{6}}{3}\right)\,\frac{1}{\sqrt{6}}\begin{bmatrix} -1 \\ 1 \\ 2 \end{bmatrix} = 3\begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix} + \frac{7}{3}\begin{bmatrix} -1 \\ 1 \\ 2 \end{bmatrix} \]

Ekspresi akhir ini identik dengan Langkah 3 pada Contoh 14.1, sehingga menghasilkan $\hat{\mathbf{b}} = \frac{1}{3}\begin{bmatrix} 2 \\ 16 \\ 14 \end{bmatrix}$.

Catatan Penting: Rumus basis ortonormal menghilangkan kebutuhan untuk menghitung dan membagi oleh $\|\mathbf{v}_i\|^2$ secara eksplisit karena faktor normalisasi pada $\mathbf{q}_i$ secara otomatis menyerapnya. Inilah alasan utama mengapa dekomposisi QR (yang menghasilkan kolom ortonormal) sangat menguntungkan secara komputasional. ∎

14.2 Komponen Dekomposisi Ortogonal

Setiap kali kita memproyeksikan sebuah vektor ke dalam sebuah subruang, kita secara bersamaan memisahkan vektor tersebut menjadi sepasang komponen independen yang saling tegak lurus. Sifat keterpisahan ini memberikan kita cara objektif untuk mengukur akurasi presisi dari sebuah model hampiran.

Berdasarkan rumusan dari Definisi 14.1, jika komponen proyeksi adalah $\hat{\mathbf{b}} = \text{proj}_W \mathbf{b}$, maka komponen sisa atau residu pembentuknya diisolasi melalui pengurangan:

\[ \mathbf{z} = \mathbf{b} - \hat{\mathbf{b}} = \mathbf{b} - \text{proj}_W \mathbf{b} \]

Komponen vektor $\mathbf{z}$ ini disebut sebagai vektor galat (error vector). Nilai norma dari vektor galat ini ($\|\mathbf{z}\|$) merepresentasikan kuantitas jarak geometris terpendek yang memisahkan titik target data dengan bidang subruang hampiran.

Gambar 14.2: Visualisasi geometri segitiga siku-siku antara jarak proyeksi terdekat $\|\mathbf{b} - \hat{\mathbf{b}}\|$ dan jarak sebarang $\|\mathbf{b} - \mathbf{w}\|$.

Teorema 14.2 — Teorema Aproksimasi Terbaik (The Best Approximation Theorem)

Misalkan $W$ adalah sebuah subruang dari ruang hasil dalam $V$, dan $\mathbf{b}$ bertindak sebagai sebuah elemen vektor sebarang di dalam ruang $V$. Jika kita mendefinisikan $\hat{\mathbf{b}} = \text{proj}_W \mathbf{b}$, maka $\hat{\mathbf{b}}$ merupakan **titik hampiran terdekat yang paling akurat** dari $\mathbf{b}$ di dalam subruang $W$. Hal ini dinyatakan melalui ketaksamaan jarak mutlak:

\[ \|\mathbf{b} - \hat{\mathbf{b}}\| \;<\; \|\mathbf{b} - \mathbf{w}\| \]

untuk setiap elemen vektor $\mathbf{w}$ lainnya yang berada di dalam subruang $W$ di mana $\mathbf{w} \neq \hat{\mathbf{b}}$.

Bukti Geometri Formal Teorema Aproksimasi Terbaik

Ambil sebarang vektor $\mathbf{w} \in W$ dengan syarat $\mathbf{w} \neq \hat{\mathbf{b}}$. Mari kita uraikan ekspresi kuadrat jarak $\|\mathbf{b} - \mathbf{w}\|^2$ dengan menyisipkan suku manipulasi penjumlahan ($-\hat{\mathbf{b}} + \hat{\mathbf{b}}$) ke dalam bagian internal kurung:

\[ \|\mathbf{b} - \mathbf{w}\|^2 = \|(\mathbf{b} - \hat{\mathbf{b}}) + (\hat{\mathbf{b}} - \mathbf{w})\|^2 \]

Mari kita bedah karakteristik dari kedua komponen penyusun di atas:

Komponen pertama, $(\mathbf{b} - \hat{\mathbf{b}}) = \mathbf{z}$, dijamin berada di dalam subruang komplemen ortogonal $W^\perp$ berdasarkan ketentuan Definisi 14.1.
Komponen kedua, $(\hat{\mathbf{b}} - \mathbf{w})$, merupakan hasil pengurangan dari dua elemen yang berada di dalam subruang $W$. Karena subruang bersifat tertutup terhadap operasi aljabar, maka komponen kedua ini dijamin berada di dalam subruang $W$.

Karena komponen pertama tegak lurus terhadap komponen kedua, kita dapat menerapkan hukum **Teorema Pythagoras yang Digeneralisasikan** (Teorema 11.4) untuk meluruhkan persamaan menjadi:

\[ \|\mathbf{b} - \mathbf{w}\|^2 = \|\mathbf{b} - \hat{\mathbf{b}}\|^2 + \|\hat{\mathbf{b}} - \mathbf{w}\|^2 \]

Karena dikondisikan bahwa $\mathbf{w} \neq \hat{\mathbf{b}}$, maka berdasarkan sifat positif definit diperoleh nilai norma kuadrat kedua pasti lebih besar dari nol ($\|\hat{\mathbf{b}} - \mathbf{w}\|^2 > 0$). Skenario ini memaksakan ketaksamaan batas atas:

\[ \|\mathbf{b} - \mathbf{w}\|^2 \;>\; \|\mathbf{b} - \hat{\mathbf{b}}\|^2 \]

Terapkan penarikan akar kuadrat positif pada kedua belah pihak. Terbukti secara valid bahwa nilai jarak $\|\mathbf{b} - \hat{\mathbf{b}}\|$ bernilai paling minimum di antara seluruh kandidat koordinat lainnya. $\blacksquare$

Contoh 14.3 — Analisis Kuantitas Galat dan Pembuktian Teorema Pythagoras Geometri

Gunakan komponen hasil akhir dari Contoh 14.1 untuk menghitung vektor galat $\mathbf{z}$ serta nilai jarak minimalnya. Lakukan verifikasi untuk membuktikan keabsahan hubungan $\|\mathbf{b}\|^2 = \|\hat{\mathbf{b}}\|^2 + \|\mathbf{z}\|^2$.

Penyelesaian Analitis:

Langkah 1: Menghitung Komponen Vektor Galat $\mathbf{z}$

Kurangkan vektor target awal $\mathbf{b}$ dengan hasil proyeksi $\hat{\mathbf{b}} = \frac{1}{3}\begin{bmatrix} 2 \\ 16 \\ 14 \end{bmatrix}$:

\[ \mathbf{z} = \mathbf{b} - \hat{\mathbf{b}} = \begin{bmatrix} 2 \\ 4 \\ 6 \end{bmatrix} - \begin{bmatrix} \frac{2}{3} \\[4pt] \frac{16}{3} \\[4pt] \frac{14}{3} \end{bmatrix} = \begin{bmatrix} \frac{6}{3} - \frac{2}{3} \\[4pt] \frac{12}{3} - \frac{16}{3} \\[4pt] \frac{18}{3} - \frac{14}{3} \end{bmatrix} = \begin{bmatrix} \frac{4}{3} \\[4pt] -\frac{4}{3} \\[4pt] \frac{4}{3} \end{bmatrix} = \frac{4}{3}\begin{bmatrix} 1 \\ -1 \\ 1 \end{bmatrix} \]

Hitung kuadrat norma panjang dari vektor galat terkait:

\[ \|\mathbf{z}\|^2 = \left(\frac{4}{3}\right)^2 + \left(-\frac{4}{3}\right)^2 + \left(\frac{4}{3}\right)^2 = \frac{16}{9} + \frac{16}{9} + \frac{16}{9} = \frac{48}{9} = \frac{16}{3} \]

Langkah 2: Menghitung Kuadrat Panjang Komponen Lainnya

\[ \|\mathbf{b}\|^2 = 2^2 + 4^2 + 6^2 = 4 + 16 + 36 = 56 \]

\[ \|\hat{\mathbf{b}}\|^2 = \left(\frac{2}{3}\right)^2 + \left(\frac{16}{3}\right)^2 + \left(\frac{14}{3}\right)^2 = \frac{4}{9} + \frac{256}{9} + \frac{196}{9} = \frac{456}{9} = \frac{152}{3} \]

Langkah 3: Verifikasi Penjumlahan Komponen Sisi Kanan

\[ \|\hat{\mathbf{b}}\|^2 + \|\mathbf{z}\|^2 = \frac{152}{3} + \frac{16}{3} = \frac{168}{3} = 56 \]

Hasil penjumlahan kuadrat dari komponen proyeksi dan komponen galat terbukti menghasilkan nilai tepat $56$, yang bernilai identik dengan $\|\mathbf{b}\|^2$ (\checkmark). Prosedur ini mengonfirmasi kebenaran dekomposisi ortogonal secara presisi mutlak. ∎

Contoh 14.4 — Proyeksi pada Garis Lurus dan Verifikasi Ketegaklurusan Residu

Sebuah subruang garis lurus $W = \text{Span}\{\mathbf{v}\}$ di dalam $\mathbb{R}^3$ dibangun oleh vektor tunggal $\mathbf{v} = \begin{bmatrix} 2 \\ 1 \\ -1 \end{bmatrix}$. Hitunglah $\text{proj}_W \mathbf{b}$ dan $\mathbf{z}$ untuk $\mathbf{b} = \begin{bmatrix} 1 \\ 4 \\ 3 \end{bmatrix}$, lalu verifikasi bahwa $\mathbf{z} \perp \mathbf{v}$.

Penyelesaian Analitis:

Langkah 1: Proyeksi pada Garis (Subruang Berdimensi Satu)

Karena $W$ berdimensi satu, rumus proyeksi menyederhanakan menjadi satu suku:

\[ \text{proj}_W \mathbf{b} = \frac{\langle\mathbf{b}, \mathbf{v}\rangle}{\|\mathbf{v}\|^2}\,\mathbf{v} \]

\[ \langle\mathbf{b}, \mathbf{v}\rangle = (1)(2) + (4)(1) + (3)(-1) = 2 + 4 - 3 = 3, \qquad \|\mathbf{v}\|^2 = 4 + 1 + 1 = 6 \]

\[ \hat{\mathbf{b}} = \frac{3}{6}\begin{bmatrix} 2 \\ 1 \\ -1 \end{bmatrix} = \frac{1}{2}\begin{bmatrix} 2 \\ 1 \\ -1 \end{bmatrix} = \begin{bmatrix} 1 \\ \frac{1}{2} \\[4pt] -\frac{1}{2} \end{bmatrix} \]

Langkah 2: Hitung Vektor Galat

\[ \mathbf{z} = \mathbf{b} - \hat{\mathbf{b}} = \begin{bmatrix} 1 \\ 4 \\ 3 \end{bmatrix} - \begin{bmatrix} 1 \\ \frac{1}{2} \\[4pt] -\frac{1}{2} \end{bmatrix} = \begin{bmatrix} 0 \\ \frac{7}{2} \\[4pt] \frac{7}{2} \end{bmatrix} = \frac{7}{2}\begin{bmatrix} 0 \\ 1 \\ 1 \end{bmatrix} \]

Langkah 3: Verifikasi Ketegaklurusan

\[ \langle\mathbf{z}, \mathbf{v}\rangle = (0)(2) + \left(\frac{7}{2}\right)(1) + \left(\frac{7}{2}\right)(-1) = 0 + \frac{7}{2} - \frac{7}{2} = 0 \quad (\checkmark) \]

Vektor galat $\mathbf{z}$ benar-benar tegak lurus terhadap $\mathbf{v}$, mengonfirmasi bahwa $\mathbf{z} \in W^\perp$. Jarak minimal dari $\mathbf{b}$ ke garis $W$ adalah $\|\mathbf{z}\| = \frac{7}{2}\sqrt{0^2+1^2+1^2} = \frac{7\sqrt{2}}{2}$. ∎

14.3 Formulasi Masalah Kuadrat Terkecil (Least Squares)

Mari kita bawa pemahaman geometri proyeksi dari Bagian 14.2 ke dalam ranah penyelesaian praktis sistem persamaan linear. Dalam aplikasi rekayasa, kita sering kali menghadapi sistem linear overdetermined di mana jumlah total baris persamaan jauh lebih banyak daripada jumlah kolom variabel koefisien yang tersedia ($m > n$). Sistem seperti ini hampir selalu bersifat inkonsisten karena gangguan derau data (data noise).

Ketika sistem $A\mathbf{x} = \mathbf{b}$ tidak memiliki solusi, target kita diubah secara objektif: kita ingin mencari sebuah vektor solusi hampiran khusus, dinotasikan sebagai $\hat{\mathbf{x}}$, yang mampu meminimalkan nilai norma dari vektor residu sisa. Masalah optimasi komputasi ini disebut secara formal sebagai **masalah kuadrat terkecil** atau least squares problem.

Gambar 14.3: Perbandingan geometri antara residu ortogonal minimal $\|\mathbf{b} - A\hat{\mathbf{x}}\|$ dan sebarang residu alternatif $\|\mathbf{b} - A\mathbf{x}\|$.

Definisi 14.2 — Solusi Kuadrat Terkecil (Least Squares Solution)

Misalkan $A$ adalah sebuah matriks koefisien berukuran $m \times n$ dan $\mathbf{b}$ bertindak sebagai sebuah elemen vektor target di dalam ruang $\mathbb{R}^m$. Sebuah vektor $\hat{\mathbf{x}} \in \mathbb{R}^n$ diklasifikasikan secara sah sebagai solusi kuadrat terkecil dari sistem $A\mathbf{x} = \mathbf{b}$ jika ia memenuhi kriteria minimisasi fungsi kerugian geometris:

\[ \|\mathbf{b} - A\hat{\mathbf{x}}\| \;\leq\; \|\mathbf{b} - A\mathbf{x}\| \]

untuk setiap variasi pilihan elemen vektor $\mathbf{x}$ lainnya yang berada di dalam ruang domain $\mathbb{R}^n$. Nilai selisih $\mathbf{r} = \mathbf{b} - A\hat{\mathbf{x}}$ disebut sebagai vektor residu.

Berdasarkan kepastian hukum dari Teorema Aproksimasi Terbaik (Teorema 14.2), kita mengetahui secara persis bahwa titik terdekat dari vektor $\mathbf{b}$ ke subruang ruang kolom matriks $A$ ($\text{Col}(A)$) adalah komponen proyeksi ortogonalnya sendiri, yaitu $\hat{\mathbf{b}} = \text{proj}_{\text{Col}(A)} \mathbf{b}$. Oleh karena itu, solusi kuadrat terkecil $\hat{\mathbf{x}}$ sejatinya merupakan vektor bobot kombinasi linear kolom yang mampu mencapai nilai proyeksi tersebut secara tepat:

\[ A\hat{\mathbf{x}} = \text{proj}_{\text{Col}(A)} \mathbf{b} \]

14.4 Persamaan Normal (Normal Equations)

Untuk menghitung nilai solusi $\hat{\mathbf{x}}$ tanpa harus mencari basis ortonormal ruang kolom secara manual, kita dapat memanfaatkan hubungan geometri komplemen ortogonal. Berdasarkan ketentuan dari Definisi 14.1, kita tahu bahwa vektor galat residu $\mathbf{b} - A\hat{\mathbf{x}}$ wajib berdiri tegak lurus terhadap seluruh ruang kolom dari matriks koefisien $A$.

Kondisi ketegaklurusan ini berarti bahwa untuk setiap kolom matriks $\mathbf{a}_i$ yang dimiliki oleh $A$, nilai hasil kali titiknya harus bernilai nol: $\mathbf{a}_i \cdot (\mathbf{b} - A\hat{\mathbf{x}}) = 0$. Jika seluruh batasan kolom ini dikumpulkan kembali memanfaatkan identitas transpose matriks dari Bab 6, kita mendapatkan rumusan sistem optimasi persegi tanpa kalkulus:

Teorema 14.3 — Formulasi Sistem Persamaan Normal

Untuk setiap variasi bentuk matriks koefisien $A$ berukuran $m \times n$ dan vektor target data $\mathbf{b} \in \mathbb{R}^m$, himpunan solusi kuadrat terkecil $\hat{\mathbf{x}}$ dijamin berwujud sebagai solusi riil yang memenuhi sistem linear persegi berikut:

\[ A^T A \hat{\mathbf{x}} = A^T \mathbf{b} \]

Sistem linear persegi berukuran $n \times n$ di atas disebut secara baku sebagai persamaan normal (normal equations).

14.4.1 Syarat Invertibilitas Matriks $A^TA$

Teorema 14.4 — Keunikan Solusi Kuadrat Terkecil

Misalkan $A$ adalah sebuah matriks persegi panjang berukuran $m \times n$. Matriks produk persegi $A^T A$ dijamin bersifat invertibel (non-singular) jika dan hanya jika kolom-kolom dari matriks koefisien $A$ bersifat bebas linear (linear independen). Jika kondisi ini terpenuhi, maka solusi kuadrat terkecil bersifat **unik** dan dapat diisolasi secara analitis melalui rumus:

\[ \hat{\mathbf{x}} = (A^T A)^{-1} A^T \mathbf{b} \]

Contoh 14.5 — Penyelesaian Masalah Kuadrat Terkecil Sistem Overdetermined

Carilah solusi kuadrat terkecil $\hat{\mathbf{x}}$ dari sistem linear inkonsisten $A\mathbf{x} = \mathbf{b}$ berukuran $3 \times 2$ berikut memanfaatkan rumusan persamaan normal:

\[ A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 2 \\ 5 \\ 7 \end{bmatrix} \]

Penyelesaian Analitis:

Langkah 1: Mengonstruksi Matriks Persegi Persamaan Normal $A^T A$

Kalikan matriks transpose $A^T$ berordo $2 \times 3$ dengan matriks $A$ asli berordo $3 \times 2$:

\[ A^T A = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix} \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix} = \begin{bmatrix} 1+1+1 & 1+2+3 \\ 1+2+3 & 1+4+9 \end{bmatrix} = \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix} \]

Langkah 2: Mengonstruksi Vektor Konstanta Ruas Kanan Baru $A^T \mathbf{b}$

\[ A^T \mathbf{b} = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 2 & 3 \end{bmatrix} \begin{bmatrix} 2 \\ 5 \\ 7 \end{bmatrix} = \begin{bmatrix} 2+5+7 \\ 2+10+21 \end{bmatrix} = \begin{bmatrix} 14 \\ 33 \end{bmatrix} \]

Langkah 3: Menyelesaikan Persamaan Normal Persegi $2 \times 2$

Susun struktur sistem persegi $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ dan selesaikan menggunakan metode inversi matriks:

\[ \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix} \begin{bmatrix} \hat{x}_1 \\ \hat{x}_2 \end{bmatrix} = \begin{bmatrix} 14 \\ 33 \end{bmatrix} \]

Hitung nilai invers dari matriks koefisien kuadratis tersebut ($\det = 3(14)-6(6) = 42-36=6$):

\[ (A^T A)^{-1} = \frac{1}{6}\begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix} \]

Kalikan invers tersebut ke arah vektor ruas kanan target untuk mengunci koordinat solusi:

\[ \hat{\mathbf{x}} = \frac{1}{6}\begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix} \begin{bmatrix} 14 \\ 33 \end{bmatrix} = \frac{1}{6}\begin{bmatrix} 14(14) - 6(33) \\ -6(14) + 3(33) \end{bmatrix} = \frac{1}{6}\begin{bmatrix} 196 - 198 \\ -84 + 99 \end{bmatrix} = \frac{1}{6}\begin{bmatrix} -2 \\ 15 \end{bmatrix} = \begin{bmatrix} -\frac{1}{3} \\[4pt] \frac{5}{2} \end{bmatrix} \]

Kesimpulan: Solusi kuadrat terkecil unik dari sistem overdetermined ini adalah $\hat{\mathbf{x}} = \begin{bmatrix} -1/3 \\ 5/2 \end{bmatrix}$. Skenario optimasi ini melahirkan model kompromi dengan tingkat ketelitian terbaik. ∎

Contoh 14.6 — Sistem Tanpa Solusi Unik (Kolom Tidak Bebas Linear)

Carilah himpunan solusi kuadrat terkecil dari sistem $A\mathbf{x} = \mathbf{b}$ berikut:

\[ A = \begin{bmatrix} 1 & 2 \\ 1 & 2 \\ 1 & 2 \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 3 \\ 5 \\ 4 \end{bmatrix} \]

Penyelesaian Analitis:

Langkah 1: Periksa Struktur Kolom

Kolom kedua $A$ adalah $2\times$ kolom pertama, sehingga kolom-kolom $A$ tidak bebas linear. Oleh karena itu, menurut Teorema 14.4, matriks $A^TA$ tidak invertibel dan solusi kuadrat terkecil tidak unik.

Langkah 2: Susun dan Selesaikan Persamaan Normal

\[ A^T A = \begin{bmatrix} 1 & 1 & 1 \\ 2 & 2 & 2 \end{bmatrix}\begin{bmatrix} 1 & 2 \\ 1 & 2 \\ 1 & 2 \end{bmatrix} = \begin{bmatrix} 3 & 6 \\ 6 & 12 \end{bmatrix}, \qquad A^T\mathbf{b} = \begin{bmatrix} 12 \\ 24 \end{bmatrix} \]

Perhatikan bahwa baris kedua $A^TA$ adalah $2\times$ baris pertama, dan demikian pula $A^T\mathbf{b}$. Sistem hanya memberikan satu persamaan independen:

\[ 3\hat{x}_1 + 6\hat{x}_2 = 12 \quad \Longrightarrow \quad \hat{x}_1 + 2\hat{x}_2 = 4 \]

Langkah 3: Tentukan Solusi Partikuler Minimum Norma

Himpunan semua solusi kuadrat terkecil membentuk garis: $\hat{x}_1 = 4 - 2\hat{x}_2$, dengan $\hat{x}_2$ bebas. Dalam praktik numerik, kita memilih solusi partikuler dengan norma terkecil, yaitu yang tegak lurus terhadap ruang nol $A$. Karena $\text{Null}(A) = \text{Span}\left\{\begin{bmatrix} -2 \\ 1 \end{bmatrix}\right\}$, solusi minimum norma diperoleh saat $\hat{\mathbf{x}} \perp \begin{bmatrix} -2 \\ 1 \end{bmatrix}$:

\[ -2(4 - 2\hat{x}_2) + \hat{x}_2 = 0 \quad \Longrightarrow \quad -8 + 5\hat{x}_2 = 0 \quad \Longrightarrow \quad \hat{x}_2 = \frac{8}{5}, \quad \hat{x}_1 = 4 - \frac{16}{5} = \frac{4}{5} \]

\[ \hat{\mathbf{x}}_{\text{min-norm}} = \begin{bmatrix} 4/5 \\ 8/5 \end{bmatrix}, \qquad A\hat{\mathbf{x}} = \begin{bmatrix} 1 & 2 \\ 1 & 2 \\ 1 & 2 \end{bmatrix}\begin{bmatrix} 4/5 \\ 8/5 \end{bmatrix} = \begin{bmatrix} 4 \\ 4 \\ 4 \end{bmatrix} \]

Kesimpulan: Proyeksi $\hat{\mathbf{b}} = \begin{bmatrix} 4 \\ 4 \\ 4 \end{bmatrix}$ adalah rata-rata dari entri $\mathbf{b}$ (karena semua baris $A$ identik). Solusi kuadrat terkecil tidak unik; solusi minimum norma adalah $\hat{\mathbf{x}} = \begin{bmatrix} 4/5 & 8/5 \end{bmatrix}^T$. ∎

14.5 Penyelesaian Kuadrat Terkecil via QR

Meskipun metode persamaan normal $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ pada Bagian 14.4 sangat indah dan mudah dipahami, ia memuat cacat bawaan yang sangat berbahaya ketika diimplementasikan ke dalam program komputer. Operasi perkalian matriks produk $A^T A$ secara mekanis akan **mengkuadratkan bilangan kondisi (condition number)** dari matriks koefisien tersebut ($\kappa(A^T A) = [\kappa(A)]^2$).

Kondisi ini menyebabkan hilangnya digit presisi secara dramatis dan memicu ketidakstabilan numerik yang hancur akibat galat pembulatan desimal komputer. Untuk mengamankan validitas komputasi industri, pustaka tingkat tinggi (seperti NumPy atau SciPy) mengalihkan perhitungan dengan memanfaatkan arsitektur **Dekomposisi QR** yang telah diformalkan pada Bab 13.

Teorema 14.5 — Optimasi Kuadrat Terkecil Berbasis Matriks Ortogonal QR

Misalkan $A$ adalah sebuah matriks koefisien berukuran $m \times n$ dengan kolom-kolom bebas linear, dan terfaktorisasi sempurna menjadi $A = QR$ melalui transformasi Householder. Jika kita mensubstitusikan komponen tersebut ke dalam persamaan normal, maka sistem persegi dapat disederhanakan secara stabil menjadi bentuk hubungan segitiga atas:

\[ R \hat{\mathbf{x}} = Q^T \mathbf{b} \]

Di mana $R$ bertindak sebagai matriks segitiga atas berukuran $n \times n$, dan $Q$ merupakan matriks ortogonal berukuran $m \times n$. Solusi final $\hat{\mathbf{x}}$ diisolasi menggunakan prosedur substitusi mundur (backward substitution) tanpa melibatkan perkalian matriks kuadratis $A^T A$.

Contoh 14.7 — Penyelesaian Kuadrat Terkecil via Dekomposisi QR

Selesaikan sistem overdetermined berikut menggunakan metode QR (Teorema 14.5), lalu bandingkan hasilnya dengan penyelesaian via persamaan normal:

\[ A = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 1 \\ 3 \\ 4 \end{bmatrix} \]

Penyelesaian Analitis:

Langkah 1: Faktorisasi QR melalui Proses Gram–Schmidt

Kolom pertama dan kedua $A$: $\mathbf{a}_1 = \begin{bmatrix}1\\1\\1\end{bmatrix}$, $\mathbf{a}_2 = \begin{bmatrix}0\\1\\2\end{bmatrix}$.

\[ \mathbf{v}_1 = \mathbf{a}_1 = \begin{bmatrix}1\\1\\1\end{bmatrix}, \qquad \|\mathbf{v}_1\| = \sqrt{3}, \qquad \mathbf{q}_1 = \frac{1}{\sqrt{3}}\begin{bmatrix}1\\1\\1\end{bmatrix} \]

\[ \text{proj}_{\mathbf{v}_1}\mathbf{a}_2 = \frac{\langle\mathbf{a}_2, \mathbf{v}_1\rangle}{\|\mathbf{v}_1\|^2}\,\mathbf{v}_1 = \frac{0+1+2}{3}\begin{bmatrix}1\\1\\1\end{bmatrix} = \begin{bmatrix}1\\1\\1\end{bmatrix} \]

\[ \mathbf{v}_2 = \mathbf{a}_2 - \text{proj}_{\mathbf{v}_1}\mathbf{a}_2 = \begin{bmatrix}0\\1\\2\end{bmatrix} - \begin{bmatrix}1\\1\\1\end{bmatrix} = \begin{bmatrix}-1\\0\\1\end{bmatrix}, \qquad \|\mathbf{v}_2\| = \sqrt{2}, \qquad \mathbf{q}_2 = \frac{1}{\sqrt{2}}\begin{bmatrix}-1\\0\\1\end{bmatrix} \]

Ekstrak entri matriks $R$ melalui $R_{ij} = \langle\mathbf{a}_j, \mathbf{q}_i\rangle$:

\[ Q = \begin{bmatrix} \frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} \\[4pt] \frac{1}{\sqrt{3}} & 0 \\[4pt] \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} \end{bmatrix}, \qquad R = \begin{bmatrix} \sqrt{3} & \sqrt{3} \\ 0 & \sqrt{2} \end{bmatrix} \]

Langkah 2: Hitung Vektor Ruas Kanan $Q^T\mathbf{b}$

\[ Q^T\mathbf{b} = \begin{bmatrix} \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{3}} & \frac{1}{\sqrt{3}} \\[4pt] -\frac{1}{\sqrt{2}} & 0 & \frac{1}{\sqrt{2}} \end{bmatrix}\begin{bmatrix} 1 \\ 3 \\ 4 \end{bmatrix} = \begin{bmatrix} \frac{1+3+4}{\sqrt{3}} \\[4pt] \frac{-1+0+4}{\sqrt{2}} \end{bmatrix} = \begin{bmatrix} \frac{8}{\sqrt{3}} \\[4pt] \frac{3}{\sqrt{2}} \end{bmatrix} \]

Langkah 3: Substitusi Mundur pada Sistem Segitiga Atas

\[ \begin{bmatrix} \sqrt{3} & \sqrt{3} \\ 0 & \sqrt{2} \end{bmatrix}\begin{bmatrix} \hat{x}_1 \\ \hat{x}_2 \end{bmatrix} = \begin{bmatrix} \frac{8}{\sqrt{3}} \\[4pt] \frac{3}{\sqrt{2}} \end{bmatrix} \]

Dari baris kedua: $\sqrt{2}\,\hat{x}_2 = \frac{3}{\sqrt{2}} \;\Longrightarrow\; \hat{x}_2 = \frac{3}{2}$.

Dari baris pertama: $\sqrt{3}\,\hat{x}_1 + \sqrt{3}\cdot\frac{3}{2} = \frac{8}{\sqrt{3}} \;\Longrightarrow\; \hat{x}_1 + \frac{3}{2} = \frac{8}{3} \;\Longrightarrow\; \hat{x}_1 = \frac{16-9}{6} = \frac{7}{6}$.

\[ \hat{\mathbf{x}} = \begin{bmatrix} \dfrac{7}{6} \\[6pt] \dfrac{3}{2} \end{bmatrix} \]

Langkah 4: Verifikasi Silang dengan Persamaan Normal

\[ A^TA = \begin{bmatrix} 3 & 3 \\ 3 & 5 \end{bmatrix}, \qquad A^T\mathbf{b} = \begin{bmatrix} 8 \\ 11 \end{bmatrix}, \qquad \det = 15 - 9 = 6 \]

\[ \hat{\mathbf{x}} = \frac{1}{6}\begin{bmatrix} 5 & -3 \\ -3 & 3 \end{bmatrix}\begin{bmatrix} 8 \\ 11 \end{bmatrix} = \frac{1}{6}\begin{bmatrix} 40-33 \\ -24+33 \end{bmatrix} = \frac{1}{6}\begin{bmatrix} 7 \\ 9 \end{bmatrix} = \begin{bmatrix} 7/6 \\ 3/2 \end{bmatrix} \quad (\checkmark) \]

Kesimpulan: Kedua metode menghasilkan solusi identik $\hat{\mathbf{x}} = \begin{bmatrix} 7/6 & 3/2 \end{bmatrix}^T$. Namun, metode QR menghindari pembentukan $A^TA$ sehingga lebih stabil secara numerik untuk matriks berbilangan kondisi besar. ∎

14.6 Aplikasi Model Regresi Linear

Dalam bidang statistika, analisis data, dan pembelajaran mesin (machine learning), aplikasi paling nyata dari solusi kuadrat terkecil adalah konstruksi **kurva regresi linear**. Skenario ini bertujuan mencari sebuah garis lurus kompromi terbaik $y = \beta_0 + \beta_1 x$ yang paling mewakili persebaran titik-titik sampel data di dalam diagram pencar.

14.6.1 Derivasi Analitis Fungsi Kerugian

Misalkan kita merekam sebanyak $m$ buah pasang data pengujian koordinat riil, dinotasikan sebagai $(x_1, y_1), (x_2, y_2), \ldots, (x_m, y_m)$. Kita susun setiap baris persamaan data tersebut mengikuti model teoretis kurva garis lurus:

\[ \begin{align*} \beta_0 + \beta_1 x_1 &= y_1 \\ \beta_0 + \beta_1 x_2 &= y_2 \\ &\vdots \\ \beta_0 + \beta_1 x_m &= y_m \end{align*} \]

Kumpulkan seluruh parameter di atas ke dalam format representasi matriks overdetermined $A\boldsymbol{\beta} = \mathbf{y}$, di mana vektor parameter variabel yang kita cari adalah $\boldsymbol{\beta} = \begin{bmatrix} \beta_0 & \beta_1 \end{bmatrix}^T$:

\[ \underbrace{\begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_m \end{bmatrix}}_{A} \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix} = \underbrace{\begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{bmatrix}}_{\mathbf{y}} \]

Aplikasi rumus persamaan normal terhadap susunan matriks regresi ini secara otomatis akan meminimalkan jumlah kuadrat galat vertikal (residu residual), memenuhi filosofi optimasi kriteria kuadrat terkecil.

14.6.2 Evaluasi Koefisien Determinasi ($R^2$)

Untuk mengukur seberapa kuat kemampuan model garis regresi linear dalam menjelaskan variabilitas sebaran data sampel riil, kita menggunakan metrik statistik yang disebut sebagai koefisien determinasi, dinotasikan secara universal dengan simbol $R^2$ (baca: R kuadrat).

Definisi 14.3 — Formulasi Koefisien Determinasi R²

Misalkan $\mathbf{y}$ bertindak sebagai vektor target data asli dan $\hat{\mathbf{y}} = A\hat{\boldsymbol{\beta}}$ merupakan vektor hasil taksiran (prediksi) model. Jika nilai rata-rata dari seluruh entri data asli dinyatakan sebagai $\bar{y}$, maka nilai koefisien determinasi dihitung melalui rasio perbandingan kuadrat panjang:

\[ R^2 = 1 - \frac{\|\mathbf{y} - \hat{\mathbf{y}}\|^2}{\|\mathbf{y} - \bar{\mathbf{y}}\|^2} = 1 - \frac{\text{Jumlah Kuadrat Residu (SSE)}}{\text{Jumlah Kuadrat Total (SST)}} \]

di mana $\bar{\mathbf{y}}$ adalah vektor yang seluruh entri-nya bernilai $\bar{y}$. Nilai $R^2$ dijamin selalu berada di dalam interval tertutup $[0, 1]$. Nilai $R^2$ yang mendekati angka satu mengindikasikan bahwa model garis regresi linear memiliki tingkat akurasi kecocokan yang sangat tinggi terhadap persebaran data riil.

Contoh 14.8 — Regresi Linear Lengkap dengan Perhitungan $R^2$

Tiga buah titik sampel data eksperimen tercatat sebagai $(1, 2),\;(2, 3),\;(3, 5)$. Tentukan garis regresi linear terbaik $y = \beta_0 + \beta_1 x$ dan evaluasi kualitas kecocokannya melalui koefisien determinasi $R^2$.

Penyelesaian Analitis:

Langkah 1: Susun Matriks Regresi dan Vektor Target

\[ A = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}, \qquad \mathbf{y} = \begin{bmatrix} 2 \\ 3 \\ 5 \end{bmatrix} \]

Langkah 2: Hitung Persamaan Normal

\[ A^TA = \begin{bmatrix} 3 & 6 \\ 6 & 14 \end{bmatrix}, \qquad A^T\mathbf{y} = \begin{bmatrix} 10 \\ 23 \end{bmatrix} \]

Karena $\det(A^TA) = 3(14)-6(6) = 6$:

\[ \hat{\boldsymbol{\beta}} = \frac{1}{6}\begin{bmatrix} 14 & -6 \\ -6 & 3 \end{bmatrix}\begin{bmatrix} 10 \\ 23 \end{bmatrix} = \frac{1}{6}\begin{bmatrix} 140 - 138 \\ -60 + 69 \end{bmatrix} = \frac{1}{6}\begin{bmatrix} 2 \\ 9 \end{bmatrix} = \begin{bmatrix} \dfrac{1}{3} \\[6pt] \dfrac{3}{2} \end{bmatrix} \]

Garis regresi: $\quad y = \frac{1}{3} + \frac{3}{2}\,x$

Langkah 3: Hitung Nilai Prediksi dan Residu

\[ \hat{\mathbf{y}} = A\hat{\boldsymbol{\beta}} = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \end{bmatrix}\begin{bmatrix} 1/3 \\ 3/2 \end{bmatrix} = \begin{bmatrix} 1/3 + 3/2 \\ 1/3 + 3 \\ 1/3 + 9/2 \end{bmatrix} = \begin{bmatrix} 11/6 \\ 10/3 \\ 29/6 \end{bmatrix} \]

\[ \mathbf{e} = \mathbf{y} - \hat{\mathbf{y}} = \begin{bmatrix} 2 \\ 3 \\ 5 \end{bmatrix} - \begin{bmatrix} 11/6 \\ 10/3 \\ 29/6 \end{bmatrix} = \begin{bmatrix} 1/6 \\ -1/3 \\ 1/6 \end{bmatrix} \]

Langkah 4: Evaluasi $R^2$

\[ \text{SSE} = \|\mathbf{e}\|^2 = \left(\frac{1}{6}\right)^2 + \left(-\frac{1}{3}\right)^2 + \left(\frac{1}{6}\right)^2 = \frac{1}{36} + \frac{4}{36} + \frac{1}{36} = \frac{6}{36} = \frac{1}{6} \]

\[ \bar{y} = \frac{2+3+5}{3} = \frac{10}{3}, \qquad \text{SST} = \left(2-\frac{10}{3}\right)^2 + \left(3-\frac{10}{3}\right)^2 + \left(5-\frac{10}{3}\right)^2 = \frac{16}{9} + \frac{1}{9} + \frac{25}{9} = \frac{42}{9} = \frac{14}{3} \]

\[ R^2 = 1 - \frac{\text{SSE}}{\text{SST}} = 1 - \frac{1/6}{14/3} = 1 - \frac{3}{84} = 1 - \frac{1}{28} = \frac{27}{28} \approx 0{,}964 \] \]

Kesimpulan: Garis regresi terbaik adalah $y = \frac{1}{3} + \frac{3}{2}\,x$ dengan nilai $R^2 = \frac{27}{28} \approx 0{,}964$. Nilai ini sangat mendekati $1$, mengindikasikan bahwa model garis lurus mampu menjelaskan sekitar $96{,}4\%$ dari total variabilitas data. ∎

14.6.3 Perumuman: Regresi Polinomial

Metode kuadrat terkecil tidak terbatas pada model garis lurus saja. Kita dapat memperluas matriks desain $A$ dengan menambahkan kolom-kolom basis fungsi yang lebih kompleks, misalnya $x^2, x^3, \ldots$, untuk menghasilkan model regresi polinomial. Secara umum, untuk mencocokkan data ke kurva polinomial derajat $d$:

\[ y = \beta_0 + \beta_1 x + \beta_2 x^2 + \cdots + \beta_d x^d \]

matriks desain yang bersesuaian berbentuk:

\[ A = \begin{bmatrix} 1 & x_1 & x_1^2 & \cdots & x_1^d \\ 1 & x_2 & x_2^2 & \cdots & x_2^d \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_m & x_m^2 & \cdots & x_m^d \end{bmatrix} \]

Persamaan normal $A^TA\hat{\boldsymbol{\beta}} = A^T\mathbf{y}$ tetap berlaku tanpa perubahan bentuk; yang berubah hanyalah dimensi dan isi matriks $A$.

Contoh 14.9 — Regresi Polinomial Kuadrat ($d=2$)

Empat titik data tercatat sebagai $(0, 1),\;(1, 2),\;(2, 5),\;(3, 9)$. Cocokkan data tersebut ke model polinomial kuadrat $y = \beta_0 + \beta_1 x + \beta_2 x^2$ menggunakan metode kuadrat terkecil.

Penyelesaian Analitis:

Langkah 1: Susun Matriks Desain Polinomial

\[ A = \begin{bmatrix} 1 & 0 & 0 \\ 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \end{bmatrix}, \qquad \mathbf{y} = \begin{bmatrix} 1 \\ 2 \\ 5 \\ 9 \end{bmatrix} \]

Langkah 2: Konstruksi Persamaan Normal $3 \times 3$

\[ A^TA = \begin{bmatrix} 4 & 6 & 14 \\ 6 & 14 & 36 \\ 14 & 36 & 98 \end{bmatrix}, \qquad A^T\mathbf{y} = \begin{bmatrix} 17 \\ 39 \\ 103 \end{bmatrix} \]

Langkah 3: Eliminasi Gauss pada Sistem Persegi

\[ \left[\begin{array}{ccc|c} 4 & 6 & 14 & 17 \\ 6 & 14 & 36 & 39 \\ 14 & 36 & 98 & 103 \end{array}\right] \xrightarrow{R_2 \leftarrow R_2 - \tfrac{3}{2}R_1} \left[\begin{array}{ccc|c} 4 & 6 & 14 & 17 \\ 0 & 5 & 15 & \tfrac{27}{2} \\ 14 & 36 & 98 & 103 \end{array}\right] \]

\[ \xrightarrow{R_3 \leftarrow R_3 - \tfrac{7}{2}R_1} \left[\begin{array}{ccc|c} 4 & 6 & 14 & 17 \\ 0 & 5 & 15 & \tfrac{27}{2} \\ 0 & 15 & 49 & \tfrac{87}{2} \end{array}\right] \xrightarrow{R_3 \leftarrow R_3 - 3R_2} \left[\begin{array}{ccc|c} 4 & 6 & 14 & 17 \\ 0 & 5 & 15 & \tfrac{27}{2} \\ 0 & 0 & 4 & 3 \end{array}\right] \]

Langkah 4: Substitusi Mundur

\[ \beta_2 = \frac{3}{4}, \qquad 5\beta_1 + 15\!\left(\frac{3}{4}\right) = \frac{27}{2} \;\Longrightarrow\; 5\beta_1 = \frac{27}{2} - \frac{45}{4} = \frac{9}{4} \;\Longrightarrow\; \beta_1 = \frac{9}{20} \]

\[ 4\beta_0 + 6\!\left(\frac{9}{20}\right) + 14\!\left(\frac{3}{4}\right) = 17 \;\Longrightarrow\; 4\beta_0 + \frac{27}{10} + \frac{21}{2} = 17 \;\Longrightarrow\; 4\beta_0 = \frac{19}{5} \;\Longrightarrow\; \beta_0 = \frac{19}{20} \]

Langkah 5: Verifikasi dan Evaluasi Residu

Kurva kuadrat terbaik: $\quad y = \frac{19}{20} + \frac{9}{20}\,x + \frac{3}{4}\,x^2 = 0{,}95 + 0{,}45\,x + 0{,}75\,x^2$

\[ \hat{\mathbf{y}} = \begin{bmatrix} 0{,}95 \\ 0{,}95+0{,}45+0{,}75 \\ 0{,}95+0{,}90+3{,}00 \\ 0{,}95+1{,}35+6{,}75 \end{bmatrix} = \begin{bmatrix} 0{,}95 \\ 2{,}15 \\ 4{,}85 \\ 9{,}05 \end{bmatrix}, \qquad \mathbf{e} = \begin{bmatrix} 0{,}05 \\ -0{,}15 \\ 0{,}15 \\ -0{,}05 \end{bmatrix} \]

\[ \text{SSE} = 0{,}05^2 + 0{,}15^2 + 0{,}15^2 + 0{,}05^2 = 0{,}05, \qquad \bar{y} = \frac{17}{4} = 4{,}25 \]

\[ \text{SST} = (1-4{,}25)^2 + (2-4{,}25)^2 + (5-4{,}25)^2 + (9-4{,}25)^2 = 10{,}5625 + 5{,}0625 + 0{,}5625 + 22{,}5625 = 38{,}75 \]

\[ R^2 = 1 - \frac{0{,}05}{38{,}75} \approx 0{,}9987 \]

Kesimpulan: Model polinomial kuadrat menghasilkan $R^2 \approx 0{,}9987$, jauh lebih tinggi daripada yang akan diperoleh model linear (untuk perbandingan, regresi linear pada data yang sama menghasilkan $R^2 \approx 0{,}954$). Penambahan satu kolom $x^2$ pada matriks desain secara signifikan meningkatkan kemampuan model dalam menjerat kurvatur data. ∎

Perspektif Aljabar Bab Ini

Bab 14 mengubah keterbatasan aljabar menjadi sebuah kesuksesan aplikasi rekayasa. Ketika ketidakselarasan data membuat sebuah sistem linear hancur menjadi inkonsisten ($A\mathbf{x} \neq \mathbf{b}$), kita tidak menyerah pada kegagalan solusi. Dengan memanfaatkan pilar geometri proyeksi ortogonal, kita melahirkan kompromi kuadrat terkecil yang menyeimbangkan kontradiksi baris persamaan secara optimal.

Melalui derivasi analitis persamaan normal, kita melihat bagaimana subruang komplemen ortogonal bertindak sebagai jembatan yang mereduksi ketidakpastian ruang berdimensi tinggi menjadi sistem matriks persegi yang dapat diselesaikan. Peralihan menuju metode berbasis QR membuktikan bahwa pemahaman mendalam tentang struktur operator geometri (matriks ortogonal) sangat menentukan efisiensi running-time dan stabilitas aplikasi industri.

Kita juga menyaksikan bagaimana kerangka kuadrat terkecil bersifat sangat fleksibel: dengan merancang matriks desain $A$ yang sesuai, metode yang sama mampu menangani regresi linear sederhana maupun regresi polinomial berderajat tinggi. Kerangka kerja ini merupakan instrumen analitis yang sangat fundamental; ia akan langsung dieksploitasi untuk memproses estimasi parameter adaptif pada analisis data multi-variabel di Bab 19 (Analisis Data: PCA & Regresi), serta menjadi basis pemrosesan sinyal digital dan estimasi galat numerik pada Bab 20.

Latihan Evaluasi Akhir Bab 14

Sebuah subruang garis lurus $W$ di dalam ruang tiga dimensi $\mathbb{R}^3$ dibangun oleh rentangan satu buah elemen basis tunggal $\mathbf{v} = \begin{bmatrix} 2 \\ 1 \\ -1 \end{bmatrix}$. Hitunglah komponen vektor proyeksi ortogonal $\text{proj}_W \mathbf{b}$ dan komponen vektor galat residunya $\mathbf{z}$ jika diberikan vektor target data asli adalah $\mathbf{b} = \begin{bmatrix} 1 \\ 4 \\ 3 \end{bmatrix}$. Verifikasi bahwa hubungan aljabar $\mathbf{z} \cdot \mathbf{v} = 0$ terpenuhi secara presisi. (Petunjuk: Bandingkan dengan Contoh 14.4.)
Misalkan kita diwajibkan untuk menyelesaikan sebuah sistem linear overdetermined $A\mathbf{x} = \mathbf{b}$ berukuran $3 \times 2$ yang bersifat inkonsisten berikut:
\[ A = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix}, \qquad \mathbf{b} = \begin{bmatrix} 1 \\ 3 \\ 4 \end{bmatrix} \]
- (a) Susunlah ekspresi sistem persamaan normal persegi $A^T A \hat{\mathbf{x}} = A^T \mathbf{b}$ yang bersesuaian.
- (b) Selesaikan persamaan normal tersebut untuk mengunci nilai koordinat solusi kuadrat terkecil unik $\hat{\mathbf{x}}$. (Petunjuk: Bandingkan dengan Contoh 14.7.)
- (c) Hitunglah nilai norma panjang dari vektor residu galat $\|\mathbf{b} - A\hat{\mathbf{x}}\|$ untuk mengukur deviasi geometris model kompromi Anda.
Diberikan tiga buah titik sampel data hasil rekaman eksperimen laboratorium pada diagram pencar adalah $(1, 2), (2, 3),$ dan $(3, 5)$.
- (a) Susunlah matriks augmented koefisien $A$ dan vektor target data $\mathbf{y}$ untuk mencocokkan titik-titik tersebut ke dalam model kurva regresi garis lurus $y = \beta_0 + \beta_1 x$.
- (b) Hitung nilai parameter optimal $\beta_0$ dan $\beta_1$ menggunakan formulasi solusi kuadrat terkecil analitis Teorema 14.4. (Petunjuk: Bandingkan dengan Contoh 14.8.)
- (c) Gambarkan evaluasi kualitas kecocokan model Anda dengan menghitung nilai Koefisien Determinasi ($R^2$).
Misalkan sebuah matriks koefisien $A$ telah terfaktorisasi sempurna melalui algoritma transformasi Householder menjadi bentuk dekomposisi $A = QR$, memuat nilai komponen:
\[ Q = \begin{bmatrix} \frac{1}{\sqrt{2}} & 0 \\[4pt] 0 & 1 \\[4pt] \frac{1}{\sqrt{2}} & 0 \end{bmatrix}, \qquad R = \begin{bmatrix} \sqrt{2} & \sqrt{2} \\ 0 & 2 \end{bmatrix} \]
Manfaatkan arsitektur Teorema 14.5 untuk menghitung solusi kuadrat terkecil $\hat{\mathbf{x}}$ jika sistem mengikat elemen vektor target konstanta ruas kanan $\mathbf{b} = \begin{bmatrix} \sqrt{2} \\ 3 \\ \sqrt{2} \end{bmatrix}$ melalui skenario substitusi mundur segitiga atas tanpa menghitung perkalian produk $A^T A$.
Diberikan empat titik data $(0, 2),\;(1, 1),\;(2, 2),\;(3, 5)$. Cocokkan data tersebut ke model polinomial kuadrat $y = \beta_0 + \beta_1 x + \beta_2 x^2$ menggunakan persamaan normal, lalu hitung nilai $R^2$. Bandingkan dengan model regresi linear pada data yang sama dan komentari perbedaan kualitas kecocokannya.
Soal Pemikiran Analitis Hubungan Subruang: Buktikan secara teoretis menggunakan rumusan aljabar komutatif transpose bahwa sebuah vektor $\hat{\mathbf{x}}$ merupakan solusi kuadrat terkecil dari sistem $A\mathbf{x} = \mathbf{b}$ jika dan hanya jika komponen vektor residu sisa $(\mathbf{b} - A\hat{\mathbf{x}})$ berada di dalam subruang kosong kiri dari matriks koefisien $A$, dinotasikan sebagai: $(\mathbf{b} - A\hat{\mathbf{x}}) \in \text{Null}(A^T)$. Hubungkan pembuktian ini dengan visualisasi dekomposisi empat subruang fundamental matriks yang dibahas pada Bab 8.

Bab sebelumnya

Dekomposisi QR

Bab berikutnya

Bentuk Kuadrat & Simetris