Tags

, , ,

Regresi Robust dengan M-Estimation

Regresi robust diperkenalkan Andrews (1972) dalam Ryan (1997). Metode ini merupakan alat penting untuk menganalisis data yang dipengaruhi oleh outlier untuk menghasilkan model yang robust atau resistant terhadap outlier. Suatu estimasi yang resistant adalah relatif tidak terpengaruh oleh perubahan besar pada bagian kecil data atau perubahan kecil pada bagian besar data. Prosedur robust ditujukan untuk mengakomodasi adanya keanehan data, sekaligus meniadakan identifikasi adanya data outlier dan juga bersifat otomatis dalam menanggulangi data outlier (Aunuddin, 1989). Chen (2002) menyebutkan beberapa prosedur estimasi parameter dalam regresi robust, dua diantaranya adalah M-Estimation yang diperkenalkan Huber (1973) dan Least Trimmed Squares (LTS) yang diperkenalkan oleh Rousseeuw (1984).

M-Estimation merupakan metode regresi robust yang sering digunakan. M-Estimation dipandang baik untuk mengestimasi parameter yang disebabkan oleh x-outlier dan memiliki breakdown point 1/n. M-Estimation meminimumkan fungsi objektif :

        

             = (2.8)

Nilai diperoleh melalui iterasi (Chen, 2002) :

              (2.9)

dengan l (l = 1, 2,…) adalah iterasi, = dan adalah invers fungsi komulatif normal standart.

adalah fungsi simetris dari residual atau fungsi yang memberikan kontribusi pada masing-masing residual pada fungsi objektif.

dengan derivatif dari , maka untuk meminimumkan persamaan (2.8) :

                  (2.10)

merupakan fungsi influence yang digunakan dalam mem-peroleh bobot (weight). Dengan fungsi pembobot maka persamaan (2.10) menjadi:

                  (2.11)

Persamaan (2.11) dinotasikan ke dalam matrik :

                  (2.12)

Persamaan (2.12) disebut weighted least squares yang memini-mumkan . Weighted least squares dapat diguna-kan untuk mendapatkan M-estimation, sehingga estimasi para-meter menjadi :

              (2.13)

Pembobot dalam M-estimation bergantung pada residual dan koefisien. Fox (2002) menyatakan untuk menyelesaikan masalah tersebut perlu dilakukan prosedur iterasi yang disebut iteratively reweighted least squares (IRLS) seperti pada Gambar 3.4.

Tiga bentuk M-Estimation diantaranya estimasi least square, Huber dan Tukey bisquare (biweight). Bentuk fungsi objektif, fungsi influence dan fungsi pembobot untuk ketiga jenis M-Estimation dapat dilihat di Tabel 2.1. M-estimation Least Square dengan merupakan metode OLS. M-estimation Huber melalui fungsi melibatkan pengkuadratan residual yang kecil seperti pada OLS tetapi memberkan residual yang besar sedemikian rupa untuk mengurangi pengaruhnya (Myers, 1990).

Nilai r pada fungsi objektif, influence dan pembobot (Tabel 2.1) adalah tunning constant. Kuzmic et.al (2004) menyebutkan M-estimation Huber efektif digunakan pada α = 5% dengan r=1,345, sedangkan M-estimation Tukey Bisquare dengan r=4,685. Kelly (2008) menyatakan permasalahan dalam estimasi regresi robust adalah perlu dilakukan pemilihan tunning constant agar estimasi yang diperoleh lebih spesifik dan memimimumkan jumlah kuadrat residual. Menurunkan tunning constant akan menaikan pembobot terhadap residual yang besar. Menaikkan tunning constant akan menurunkan pembobot terhadap residual yang besar. Semakin besar r maka estimasi robust akan mendekati least square. Grafik perbandingan fungsi objektif, fungsi influence dan fungsi pembobot pada M-estimation dapat dilihat pada Gambar 2.1. Grafik tersebut menggunakan r = 1,345 untuk M-estimation Huber dan r = 4,685 untuk M-estimation Tukey Bisquare dengan = 1.

Tabel 2.1 Fungsi objektif, fungsi influence, dan fungsi pembobot pada M-estimation

Metode

Least Square

Huber

Tukey Bisquare

Fungsi objektif

Fungsi influence

Fungsi Pembobot

Sumber : Fox (2002), Mongomery (1992)



Sumber : Fox (2002)

Gambar 2.1 Fungsi objektif, fungsi influence, dan fungsi pembobot pada M-estimation.

Algoritma yang digunakan adalah IRLS (Gambar 3.4), tahapanya :

  1. Menaksir parameter dengan menggunakan persamaan 2.5 dan didapatkan residual ei,0.
  2. Menentukan dan fungsi pembobot
  3. Mencari estimasi pada iterasi l ( l = 1, 2, … ) dengan weighted least square.

            

    dengan merupakan matrik diagonal dengan elemen diagonalnya adalah . Sehingga estimasi parameter pada iterasi pertama ( l = 1 ) menggunakan ei,0 dan .

  4. Mengulang tahap 2 dan 3 hingga didapatkan penaksiran parameter yang konvergen.

Fungsi pembobot untuk M-Huber adalah


dan Tukey Bisquare adalah


Berikut adalah diagram alur pembentukan model M – estimation :


Gambar 3.4 Diagram Alur Permodelan dengan M-Estimation

Pengujian Parameter Model

    Pengujian parameter dalam model regresi bertujuan untuk mengetahui apakah parameter tersebut telah menunjukkan hubungan yang nyata antara variabel prediktor dan variabel respon. Disamping itu juga untuk mengetahui kelayakan parameter dalam menerangkan model. Terdapat dua tahap pengujian yaitu uji serentak dan uji parsial (individu).

  1. Uji Serentak

    Uji serentak merupakan pengujian secara bersama semua parameter dalam model regresi. Hipotesis yang digunakan adalah sebagai berikut :

H0 :
b0
=
b1 = … = bj = 0

H1 : paling tidak ada satu bj
¹ 0, j = 0, 1, … k

Statistik uji yang digunakan untuk OLS adalah

    Fhitung =     =      (3.2)

Sedangkan untuk Weighted least squares (WLS)

    Fhitung(weighted) =

          =      (3.3)

    Ket : MSR : Mean Square Regression


MSE : Mean Square Error

    Pengambilan keputusan adalah apabila Fhitung
> Fa (k, n-k-1) dengan k adalah parameter maka H0 ditolak pada tingkat signifikansi a, artinya paling sedikit ada satu bj yang tidak sama dengan nol. Pengambilan keputusan juga dapat melalui P-value dimana H0 ditolak jika P-value < α.

  1. Uji Parsial

    Uji parsial merupakan pengujian secara individu parameter dalam model regresi yang bertujuan untuk mengetahui parameter model regresi telah signifikan atau tidak. Hipotesis yang digunakan adalah sebagai berikut :

    H0 :
bj
= 0

    H1 : bj
¹ 0, j = 0, 1, 2, …, k

Statistik uji yang digunakan untuk metode OLS adalah

                       (3.4)

dengan

          (3.5)

Sedangkan untuk metode Weighted least squares (WLS)

                  (3.6)

dengan merupakan diagonal matrik kovarian.

Pengambilan keputusannya yaitu apabila |thitung| > t(1-a/2, n-k-1) dengan k adalah parameter maka H0 ditolak pada tingkat signifikansi a, artinya ada pengaruh xi terhadap model. Pengambilan keputusan juga dapat melalui P-value, dimana H0 ditolak jika P-value < α.

Advertisements