استنباط بیزی

در علم آمار دو مکتب به نامهای مکتب فراوانی گرایانه (به انگلیسی: Frequentist) و مکتب بیزین (به انگلیسی: Bayesian) وجود دارد. در مکتب فراوانی گرایانه تنها به مشاهدات و بسامد رخدادها استناد می‌شود و بر حسب آن می‌توان مسایل را حل کرد، در حالیکه در روش بیزین علاوه بر مشاهدات، اطلاعات و باورهای اولیه محقق نیز مهم است و در حل مسئله و نتیجه‌گیری مورد نظر قرار می‌گیرند. برای مثال یک محقق فراوانی گرا که در حال سپری کردن یک زمستان سرد و تاریک در قطب جنوب هست ممکن است نتیجه‌گیری کند که طبق مشاهدات خورشید از بین رفته‌است ولی یک محقق بیزین با استناد به اطلاعات اولیه خود (تاریکی قطب جنوب در طول زمستان) علی‌رغم عدم مشاهده خورشید برای مدت طولانی به چنین نتیجه ای نخواهد رسید. تفاوت دیگر این دو مکتب عبارت است از اینکه در مکتب بیز مجهولات متغیرهای تصادفی هستند به این معنی که بر خلاف مکتب فراوانی گرایانه مجهولات در مکتب بیزین دارای یک جواب ثابت نیستند بلکه یک تابع احتمال برای مجهول به دست می‌آید که احتمال مقادیر مختلف را برای مجهول مورد نظر می‌دهد. برای مثال در روش فراوانی گرایانه یک فرد یا بیمار است یا نیست در حالی که در روش بیزین یک فرد می‌تواند با احتمال ۳۰٪ بیمار و با احتمال ۷۰٪ سالم باشد.

در روش تخمین بیزی یا استنباط بیزی به یک تخمین اولیه از مجهول یا مجهولات نیاز هست. این تخمین عبارت است از اطلاعات یا باور اولیه محقق (به انگلیسی: Prior knowledge) که به صورت یک تابع احتمال ریاضی بیان می‌شود. سپس مشاهداتی انجام و اطلاعاتی در مورد مجهولات مورد نظر توسط محقق جمع‌آوری شده و با استفاده از این اطلاعات جدید تابع احتمال اولیه به‌روزرسانی (update) می‌شود. با جمع‌آوری اطلاعات بیشتر و به‌روزرسانی توابع احتمال متناظر با مجهولات می‌توان توابع توزیع احتمال دقیق‌تر و تخمین بهتری به دست آورد.

درایتون(Drayton). (۱۹۷۸) در مقدمه‌ای که به منظور معرفی استفاده از روش بیزین در فراتحلیل برای مسائل علوم انسانی نوشته‌است، می‌گوید که دستیابی به روابط علت و معلولی عام، مستلزم تکرار آزمایش‌های مکرر است. از آن جا که چنین فعالیت‌هایی مستلزم طرح‌ریزی اولیه و هماهنگی بین محققان مختلف هستند و اجرای این هماهنگی تقریباً غیرممکن است، درایتون پیشنهاد می‌کند که برای حصول به هدف بحث شده، از روش‌های ترکیبی استفاده شود.

مرحله‌ها

در روش بیزین سه مرحله به شرح زیر است:

الف) در مرحله اول، محقق باید باور خود را از واقعیت بیان کند و آن را از فیلتر آماری میانگین مورد انتظار، واریانس مورد انتظار و قدرت اعتقادات در باور اولیه، عبور دهد. این سه ملاک می‌توانند براساس تجربه پیشین، تحقیقات گذشته یا ترکیبی از آن‌ها باشند. در صورتی که تجارب گذشته به صورت میانگین، انحراف استاندارد و حجم نمونهٔ فرضی بیان شوند، چیزی وجود ندارد که مانع مراجعه به تحقیقات گذشته شود.

ب) مرحله دوم، جمع‌آوری نتایج آزمایش‌ها یا مشاهدات است. این مرحله را می‌توان از طریق کسب خلاصه آمارهایی که مشابه آنهایی هستند که از قبل تعیین شده‌اند، انجام داد.

ج) مرحله سوم عبارت است از ترکیب درست نمایی و اعتقاد اولیه و شکل‌دادن اطلاعات پسین (به انگلیسی: posterior).

اطلاعات پسین می‌توانند جدید و بیشتر از اطلاعات اولیه آگاه‌کننده باشند. ترکیب اطلاعات پسین با تحقیقات دیگر، درست نمایی جدیدی را به وجود می‌آورد. در این روش‌ها به همین ترتیب تکرار می‌شوند، و در نتیجه به مطالعه جدیدی منجر شده و در نهایت به ویژگی‌های خاص خود تبدیل می‌شوند. همان‌طور که درایتون خاطرنشان ساخته‌است نمونه‌گیری می‌تواند تا زمانی که تمام جامعه را تحت پوشش قرار دهد یا تا وقتی که آخرین مغایرت‌ها توجیه شوند، ادامه داشته باشد. این روش در استفاده از ضرایب متفاوت و تبدیل‌های ریاضی، انعطاف‌پذیر است. نظریه بیزین به اندازه نمونه (n) حساس است.

این روش در تخمین یک متغیر تصادفی بر اساس مشاهدات سیگنال ورودی، فلسفه بیزین بر پایه ترکیب کردن مشاهدات سیگنال ورودی با توزیع احتمال فرایند است.

تخمین‌ها

روش بیزین شامل تخمین‌های کلاسیک مثل روش‌های:

• ماکسیمم معلول به علت رسیده (MAP)
• ماکسیمم احتمال (ML)
• مینیمم متوسط مجذور خطا (MMSE)
• مینیمم متوسط اندازه خطا (MAVE) به عنوان حالت خاص در نظر گرفت.

مدل مخفی مارکف، به‌طور وسیع در پردازش آماری سیگنال استفاده شده که یک نمونه‌ای از مدل بیزین است.

استنباط بیزین بر پایه مینیمم کردن تابع ریسک بیزین است، که بااستفاده از مدل‌های گفته شده و با استفاده از مشاهدات و ارزش تابع خطا بدست می‌آید.

تئوری تخمین بیزین

تئوری تخمین مربوط است به تعیین بهترین تخمین از پارامترهای نامشخص با مشاهده سیگنال‌های مربوط، یا بهبودی از یک سیگنال هنگامی که با نویز (noise)ترکیب شده‌است. برای مثال یک سیگنال سینوسی نویزی داده شده‌است و ما علاقه‌مندیم که پارامترهای اساسی ان را (دامنه و فرکانس و فاز و…)بدست آوریم یا اینکه خود سیگنال را به دست آوریم. تخمین زن به عنوان ورودی مجموعه‌ای مشاهدات نویزی خود را در دسترس دارد و با استفاده از مدل‌های پویا یا مدل‌های آماری، تخمینی از پارامترهای نا مشخص بدست می‌آورد. دقت تخمین به داده‌ها در دسترس و کارامدی تخمین زن بستگی دارد.

مدل بیزی داده‌های از سیگنال مشاهده و تجمعی از احتمالات قبلی از فرایند را به کار می‌گیرد. حال می‌خواهیم تخمینی از متغیر تصادفی θ را بر اساس متغیر تصادفی y. طبق قانون بیز تابع چگالی θ به شرط y به صورت زیر است: $f_{\theta |y}(\theta |y)=f_{y|\theta }(y|\theta ){\frac {f_{\theta }(\theta )}{f_{y}(y)}}$

که برای مشاهده داده شده که در ان y را داریم، $f_{y}(y)$ یک ثابت است و فقط اثر ضریبی دارد. دو تابع چگالی دیگر در فرمول بیز وجود دارد یکی $f_{y|\theta }(y|\theta )$ که احتمال مشاهده y به شرط رخ دادن θ است و دیگری تابع چگالی احتمال θ است.

اثری که تابع چگالی $f_{y|\theta }(y|\theta )$و $f_{\theta }(\theta )$ روی$f_{\theta |y}(\theta |y)$ دارد به شکل تابع وابسته‌است؛ یعنی هر چه پیک (peak)بیش تر داشته باشد تأثیر بیش تری خواهد گذاشت و اگر تابع ثابت باشد، تأثیری نمی‌گذارد.