اینکه هوش مصنوعی چیه؟ و اطلاعات‌ش رو از کجا میاره؟ رو توی اینستاگرام توضیح دادم قبلا. (لینک پست اینستاگرام) ولی الآن بحث یه چیز دیگه‌ست. اینجا قراره روایی و پایایی این ابزار رو بررسی کنیم. (شدیدا توصیه میشه اول پست رو به صورت کامل مطالعه کنید تا درک مطلب راحت تر باشه.)

روایی چیست؟

ساده بخوام بگم، روایی یعنی میزان اعتبار و درستی نتایج یک پژوهش در شرایط مختلف. در ساده ترین مثال شما دماسنج رو فرض کن، در دمای 20 درجه طبیعتا باید عدد 20 رو نشون بده. اما وقتی شرایط رو عوض کنیم و دما رو به 30 درجه برسونیم و همچنان عدد 20 رو نشون بده یعنی روایی پژوهش هایی که با اون دماسنج گرفتیم خیلی کمه. (یا شاید اصلا نیست.)

پایایی چیست؟

بازم ساده بخوام توضیح بدم، یعنی میزان اهتبار و درستی نتیاج یک پژوهش در شرایط یکسان. در همون مثال قبلی شما فرض کن دما سنج یه بار تو دمای 20 درجه عدد 20 رو نشون بده و یه بار عدد 10 رو. وقتی تو شرایط یکسان نتایج متفاوت باشن یعنی پایایی پژوهش خیلی کمه. (یا شاید اصلا نیست. ؛-) )

روایی نتایج و جواب های هوش مصنوعی:

با توجه به ساختار و شیوه نتیجه گیری هوش مصنوعی و با نیم‌نگاهی به چگونگی پیدایش هوش مصنوعی (همه در اینستاگرام توضیح داده شده.)، میشه گفت روایی نتایج بدست اومده از هوش های مصنوعی تقریبا بالاتر از پایایی اون هاست. چرا؟ چون برای تغییر شرایط آزمایش، باید پرامپت (همون دستوری که برای هوش مصنوعی نوشته میشه.) تغییر کنه و وقتی پرامپت عوض بشه با احتمال خیلی بالایی جواب هم عوض میشه. با یک مثال جلو بریم این قسمتو:

پرامپت: “در چه دما هایی هوا خیلی سرد است؟”

کلیدواژه ها: “دما”، “هوا” و “(خیلی) سرد”

شرط: “(خیلی) سرد”

فرآیندی که هوش مصنوعی طی میکنه تا جواب پرامپتمونو بده: توی وب به دنبال کلید واژه ها میگرده و نوشته هایِ هر جایی که این کلیدواژه ها همراه با این شرط بیاد رو جمع آوری میکنه. و در نهایت با توجه به فراوانی داده ها و اطلاعات به دست اومده تصمیم میگیره که یک نتیجه رو به ما نشون بده. (در این مثال ما نسخه‌ای خالص از هوش مصنوعی رو در نظر گرفتیم.)

حالا ما شرایط رو عوض میکنیم و این بار سوالمون رو به این صورت از هوش مصنوعی میپرسیم:

پرامپت: “در چه دما هایی هوا خیلی گرم است؟”

کلیدواژه ها: “دما”، “هوا” و “(خیلی) گرم”

شرط: “(خیلی) گرم”

فرآیندی که هوش مصنوعی طی میکنه تا جواب پرامپتمونو بده: دوباره همون فرآیند قبلی طی میشه ولی اینبار به دنبال کلمه “خیلی گرم” میگرده. پس نتایجی که مربوط به گرماست رو به ما نشون میده.

تا اینجای کار مشکلی نیست و روایی داستان خیلی بالاست. اما اگر به عنوان یک هکر یا برنامه نویس بخوایم روایی نتایج رو در نظر بگیریم، و یا (مثل من) به دنبال باگ گرفتن از هوش مصنوعی باشین، خیلی راحت میتونین هوش مصنوعی رو دور بزنین. (دوستان کلاه‌سفید و سیاه و… میدونن چرا نیازه از هر چیزی باگ بگیریم.) با تغییر شرایط به نتایج غلط میرسیم:

روایی بسیار پایین و تصمیم‌گیری غلط هوش مصنوعی در انتخاب نتیجه

پایایی نتایج و جواب های هوش مصنوعی:

خب حالا باید ببینیم آیا در شرایط یکسان، همیشه یک جواب یکسان میگیریم از هوش مصنوعی یا خیر؟ اهمیت این موضوع زمانی بیشتر میشه که بدونیم هوش مصنوعی (حتی در حال حاضر) در علم پزشکی مورد استفاده قرار میگیره. شما فرض کن برای درمان صرفه به یکی بگه شربت صرفه شیمیایی بخور و به یکی دیگه بگه به هیچ وجه از دارو های شیمیایی استفاده نکن و فقط دمنوش گیاهی بخور و به یکی دیگه بگه سریعا باید عمل جراحی انجام بدی.

حالا بیاین با همون مثال قبلی ببینیم جواب ها در شرایط یکسان چقدر پایدارند؟

پایایی هم که نداره که…

جمع بندی:

شاید بهتره در مورد هوش مصنوعی بگیم «هنوز به سطح لازم از پایایی و روایی نرسیده و نیاز به توسعه بیشتر داره.» . ولی در حال حاضر به هیچ وجه نمیشه به جواب های هوش مصنوعی اتکا کرد. باید در ادامه راه ببینیم برنامه نویسا و توسعه دهنده ها چه تغییراتی در هسته این مدل های زبانی ایجاد میکنن.

شاید بهتره در مورد هوش مصنوعی بگیم «هنوز به سطح لازم از پایایی و روایی نرسیده و نیاز به توسعه بیشتر داره.» . ولی در حال حاضر به هیچ وجه نمیشه به جواب های هوش مصنوعی اتکا کرد.

فقط باید به این نکته بسیار توجه کرد که ایجاد تغییرات بر روی هوش مصنوعی به چندین روش امکان پذیره:

1- تغییر دادن منبع اصلی داده های اولیه و خام

2- تغییر فرآیند و روش پردازش داده ها

3- تغییر منطق دسته بندی داده ها

4- تغییر در منطق پاسخگویی هوش مصنوعی

و…

این تغییرات توسط برنامه نویس ها انجام میشه و بلعکسِ تفکر عوام که انتظار دارن با اومدن هوش مصنوعی برنامه نویس ها بیکار بشن، با اومدن این مدل زبانی برنامه نویس ها هم پرکار تر میشن هم راحت‌تر. مثل یک خودرو که باعث میشه همه سرنشینانش سریع تر به مقصد برسن و درسته که هوش مصنوعی مثل یک خودروی قوی و پر سرعت و پر شتاب میتونه حرکت کنه ولی مهمه که چه کسی داره این خودرو رو به چه سمتی میرونه.