Model generatif

Terdapat dua pendekatan utama dalam klasifikasi statistik, yaitu pendekatan generatif dan pendekatan diskriminatif. Keduanya menggunakan pendekatan yang berbeda dalam tingkat pemodelan statistik dan terminologi yang tidak konsisten, ^[a], tetapi terdapat tiga tipe utama yang dapat dibedakan, sebagaimana yang disebutkan oleh (Jebara 2004) :

Model generatif adalah model statistik dari distribusi probabilitas gabungan $P(X,Y)$ pada variabel yang diamati X dan variabel target Y; ^[1] Model generatif dapat digunakan untuk "membangkitkan" contoh acak (hasil) dari pengamatan x.^[2]
Model diskriminatif adalah model probabilitas bersyarat $P(Y\mid X=x)$ dari target Y, dengan pengamatan x. Model ini dapat digunakan untuk "mediskriminankan" nilai variabel target Y, dengan pengamatan x. ^[3]
Pengklasifikasi yang dihitung tanpa menggunakan model probabilitas juga disebut secara luas sebagai "model diskriminatif".

Perbedaan antara kedua kelas terakhir ini tidak dijelaskan secara konsisten;^[4] (Jebara 2004) menyebutkan bahwa ketiga kelas ini sebagai pemelajaran generatif, pemelajaran kondisional, dan pemelajaran diskriminatif, tetapi (Ng & Jordan 2002) hanya membedakannya menjadi dua kelas dengan menyebutkan pengklasifikasi generatif (distribusi gabungan) dan pengklasifikasi diskriminatif (distribusi kondisional atau tidak ada distribusi), tanpa membedakan dua kelas terakhir. ^[5] Secara analogis, pengklasifikasi yang berdasarkan pada model generatif adalah pengklasifikasi generatif, sementara pengklasifikasi yang berdasarkan pada model diskriminatif adalah pengklasifikasi diskriminatif, walaupun istilah ini juga merujuk pada pengklasifikasi yang tidak berdasarkan pada sebuah model.

Contoh umum masing-masing, yang semuanya merupakan pengklasifikasi linier, adalah:

pengklasifikasi generatif:
- pengklasifikasi naive bayes dan
- analisis diskriminan linier
model diskriminatif:
- regresi logistik

Tujuan klasifikasi adalah menentukan label y dari suatu pengamatan x. Klasifikasi ini dapat dilakukan dengan beberapa cara, yaitu menghitungnya secara langsung, tanpa menggunakan distribusi probabilitas (pengklasifikasi bebas-distribusi ); kita dapat memperkirakan probabilitas suatu label berdasarkan suatu pengamatan, $P(Y|X=x)$ (model diskriminatif), dan membangun klasifikasi hal tersebut; atau dapat memperkirakan distribusi gabungan $P(X,Y)$ (model generatif), yang darinya dihitung probabilitas bersyarat $P(Y|X=x)$ , dan kemudian membangun klasifikasi di atasnya. Semakin tidak langsungnya cara-cara tersebut, semakin banyak konsep probabilitas yang terlibat, sehingga memungkinkan lebih banyak pengetahuan tentang domain dan teori probabilitas untuk diterapkan. Dalam praktiknya, pendekatan yang berbeda digunakan tergantung pada masalah yang dihadapi, dan terkadang kombinasi metode digunakan untuk memanfaatkan kelebihan dari berbagai pendekatan.

Lihat juga

Model diskriminatif
Model grafis

Catatan

^ Three leading sources, Ng & Jordan 2002, Jebara 2004, and Mitchell 2015, give different divisions and definitions.

Referensi

^ (Ng & Jordan 2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y\mid x)$ , and then picking the most likely label y.
^ Mitchell 2015: "We can use Bayes rule as the basis for designing learning algorithms (function approximators), as follows: Given that we wish to learn some target function $f\colon X\to Y$ , or equivalently, $P(Y\mid X)$ , we use the training data to learn estimates of $P(X\mid Y)$ and $P(Y)$ . New X examples can then be classified using these estimated probability distributions, plus Bayes rule. This type of classifier is called a generative classifier, because we can view the distribution $P(X\mid Y)$ as describing how to generate random instances X conditioned on the target attribute Y.
^ Mitchell 2015: "Logistic Regression is a function approximation algorithm that uses training data to directly estimate $P(Y\mid X)$ , in contrast to Naive Bayes. In this sense, Logistic Regression is often referred to as a discriminative classifier because we can view the distribution $P(Y\mid X)$ as directly discriminating the value of the target value Y for any given instance X
^ Jebara 2004: "This distinction between conditional learning and discriminative learning is not currently a well-established convention in the field."
^ Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."

Pranala eksternal

[1] Three leading sources, Ng & Jordan 2002, Jebara 2004, and Mitchell 2015, give different divisions and definitions.

[ngjordan2002generative-2] (Ng & Jordan 2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y\mid x)$ , and then picking the most likely label y.

[mitchell2015generative-3] Mitchell 2015: "We can use Bayes rule as the basis for designing learning algorithms (function approximators), as follows: Given that we wish to learn some target function $f\colon X\to Y$ , or equivalently, $P(Y\mid X)$ , we use the training data to learn estimates of $P(X\mid Y)$ and $P(Y)$ . New X examples can then be classified using these estimated probability distributions, plus Bayes rule. This type of classifier is called a generative classifier, because we can view the distribution $P(X\mid Y)$ as describing how to generate random instances X conditioned on the target attribute Y.

[mitchell2015discriminative-4] Mitchell 2015: "Logistic Regression is a function approximation algorithm that uses training data to directly estimate $P(Y\mid X)$ , in contrast to Naive Bayes. In this sense, Logistic Regression is often referred to as a discriminative classifier because we can view the distribution $P(Y\mid X)$ as directly discriminating the value of the target value Y for any given instance X

[5] Jebara 2004: "This distinction between conditional learning and discriminative learning is not currently a well-established convention in the field."

[6] Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."

[a]

[1]

[2]

[3]

[4]

[5]