شواهد جدید و شوکه کننده ای که نشان می دهد چت جی‌پی‌تی می تواند کارهای پیچیده مربوط به اطلاعات پزشکی و آزمایشگاهی را انجام دهد
در تحقیقات اخیری که توسط PLOS Digital Health منتشر شده است، محققان عملکرد یک مدل هوش مصنوعی (AI) به نام چت جی‌پی‌تی (ChatGPT) را برای دریافت یک استدلال بالینی و پزشکی برای آزمون مجوز پزشکی ایالات متحده (USMLE) مورد آزمایش قرار دادند.
آزمون USMLE شامل 3 امتحان استاندارد است که قبولی در آنها به دانشجویان در دریافت مدرک پزشکی در آمریکا کمک می کند.
پیش زمینه ای درباره چت جی‌پی‌تی و هوش مصنوعی
در دهه های اخیر پیشرفت های بسیاری در هوش مصنوعی یا AI و یادگیری عمیق (Deep Learning) صورت گرفته است. این تکنولوژی ها توانسته اند در حوزه های بسیاری جایگاه خود را پیدا کرده و در آن زمینه به انسان ها کمک کنند، از صنعت تولید و حوزه های مالی گرفته تا حمایت از مشتری و خدمات پس از فروش. با این حال، توانایی های آنها در حوزه آزمایشگاهی و بالینی، خصوصا در سیستم های فناوری اطلاعات یا (IT) مراقبت های بهداشتی همچنان محدود است. بر این اساس، گزارشات نشان می دهد که هوش مصنوعی توانسته کاربردهای نسبتا کمی در مراقبت های بالینی، گسترده پیدا کند.
یکی از دلایل اصلی این مسئله عدم وجود اطلاعات آموزش تخصصی یا دامنه محور (data-specific) برای آموزش کافی مدل های مختلف هوش مصنوعی است. یک نمونه از عملکرد این مدل های اختصاصی یا دامنه ای، پیشرفت و توسعه مدل پیشرفته Inception-V3 می باشد که یک مدل تصویرسازی هوش مصنوعی پیشرفته است. محققان و پزشکان بسیاری امروزه از این مدل هوش مصنوعی مبتنی بر تصویر در حوزه های مختلف چشم پزشکی و پاتولوژی تا پزشکی پوست استفاده می کنند.
منظور از مدل هوش مصنوعی مبتنی بر تصویر، مدل ها یا بات هایی شبیه به چت جی‌پی‌تی هستند که بجای متن برای ما تصویر تولید میکنند، برخلاف چت جی‌پی‌تی که صرفا توانایی نگارش دارد و یک مدل مبتنی بر متن به حساب می آید.
در چند هفته گذشته، چت جی‌پی‌تی، یک مدل زبان بزرگ (LLM) که شرکت OpenAI آن را طراحی کرده است، توانسته به دلیل توانایی استثنایی که در پردازش و انجام کارها با استفاده از زبان طبیعی و روزمره دارد توجه های زیادی به خود جلب کند. آنطور که گفته می شود، ChatGPT از یک الگوریتم جدید هوش مصنوعی استفاده میکند و با استفاده از آن، میتواند یک توالی یا رشته ای از کلمات را بر اساس ماهیت کلماتی که پیش از آن نوشته شده پیش بینی کند.
به این ترتیب این مدل زبانی می تواند با استفاده از زبان انسانی و عامیانه، توالی و رشته کلمات قابل قبولی را بدون نیاز به آموزش های داده ای متنی عظیم تولید کند. افرادی که از چت جی‌پی‌تی استفاده کرده اند، آن را برای استدلال های قیاسی و بارش فکری و ایجاد یک زنجیره فکری بسیار مفید می دانند.
در خصوص انتخاب آزمون USMLE که برای تست کردن ChatGPT استفاده شد، محققانی که این تست را انجام دادند معتقدند پاسخ هایی که از سمت این مدل زبانی دریافت کردند از نظر زبانی و مفهومی بسیار غنی است. این تست شامل داده های بالینی و پزشکی چند وجهی (مثل معاینه های فیزیکی و نتایج تست هایی آزمایشگاهی) بود، که از این داده ها برای ایجاد سناریو های پزشکی پیچیده استفاده می شود و ممکن است تشخیص های مختلفی برای آنها داده شود.
تحقیقاتی درباره اثر چت جی‌پی‌تی بر آزمایشگاه های جهان
در این آزمایش محققان ابتدا موارد امتحان USMLE را به شکل سوالات تشریحی همراه درآوردند و از چند دستور (prompt) اولیه برای آماده سازی ChatGPT استفاده کردند تا ربات بداند که قرار است چه کاری انجام دهد و در چه آزمونی شرکت کند.
پس از آن، سوالات را به شکل چهار گزینه ای درآوردند و در ابتدا هیچ توضیح یا علتی برای جواب نخواستند (سوالات MC-NJ). در آخر، محققین نوع سوالات را مجدد به شکل سوالات چند جوابی درآوردند و از چت جی‌پی‌تی خواستند تا علت پاسخ را نیز از بین گزینه های مشخص شده انتخاب کند (سوالات MC-J). به این شکل محققان توانستند دقت ChatGPT را در هر سه مرحله آزمون USMLE مورد بررسی قرار دهند.
علاوه بر آن، محققان میزان درک و بینش موجود در پاسخ های ایجاد شده توسط هوش مصنوعی را بررسی کردند تا تراکم بینش (DOI) آن را اندازه گیری کنند. بالا بودن فرکانس و میزان متوسط DOI (>0.6) نشان می دهد که به احتمال زیاد، یک دانشجوی پزشکی می تواند از پاسخ هایی توسط هوش مصنوعی تولید می شود استفاده کند، خصوصا برای زمانی که به سوالات پاسخ اشتباهی داده و به دنبال درک پاسخ درست باشد.
در کل شاخص DOI نشان دهنده میزان منحصر به فرد و یونیک بودن، تازگی و اعتبار اطلاعاتی بود که توسط AI ایجاد شد و از هر 5 پاسخ، 3 پاسخ ایجاد شده این ویژگی های مهم را رعایت کردند.
نتایج تحقیقات هوش مصنوعی در دنیای پزشکی
آستانه قبولی در آزمون USMLE پزشکی آمریکا 60% درصد است و ChatGPT توانست در هر 3 مرحله این آزمون، امتیاز بالای 50% را برای درستی و دقت پاسخ هایش بدست آورد و در برخی از آنالیزها از این آستانه قبولی نیز فراتر برود.
این اولین باری نیست که هوش مصنوعی و مدل های مختلف آن به منظور سنجیدن توانایی هایشان در موارد پزشکی مورد آزمایش قرار می گیرند، اما این یک نتیجه شگفت انگیز بود چرا که هیچ مدل AI دیگری پیش از این نتوانسته بود به چنین امتیازی دست پیدا کند.
چند ماه پیش نیز چنین آزمایشی روی یک مدل هوش مصنوعی دیگر انجام شده بود که امتیاز و درصد درستی و دقت پاسخ های آن 36.7% بود.
اگر با این مدل هوش مصنوعی کار کرده باشید، میدانید که برای دریافت پاسخ ها و جواب های صحیح از آن باید ابتدا با دادن کمی اطلاعات یا اصطلاحا prompt آن را برای موضوعی که مدنظر دارید آماده کنید. این درحالی است که ChatGPT که به تکنولوژی GPT3 مجهز است، توانست بدون هیچ آموزش و آماده سازی اولیه امتیاز 46% را بدست بیاورد.
این مسئله نشان میدهد که با آماده سازی بیشتر ربات، محققان می توانستند پاسخ های دقیق تر و بهتری از او دریافت کنند. با پیشرفت و بهینه سازی مدل های زبانی عظیم یا LLM، عملکرد هوش مصنوعی نیز پیشرفت های بیشتری خواهد داشت.
علاوه بر آن، ChatGPT توانست عملکرد بهتری از PubMedGPT داشته باشد. پاب مِد یک LLM آموزش دیده تخصصی در حوزه زیست پزشکی است که عملکرد آن برابر با 50.3% در مقایسه با عملکرد 60% چت جی‌پی‌تی بود.
به نظر می رسد ChatGPT که در زمینه محتوای عمومی و غیر اختصاصی-دامنه ای آموزش داده شده، نقاط قوت بیش تری در برابر محتوای اختصاصی پزشکی دارد. برای مثال، آگاهی کلی از پرایمرها و پروتکل هایی که برای بیماران مبتلا به مریضی های مختلف تعریف شده دقیق تر و کاربردی تر می باشند.
یکی دیگر از دلایلی که باعث شد چت جی‌پی‌تی عملکرد چشمگیر تری نسبت به مدل های قبلی داشته باشد درک بهتر او از اطلاعات اولیه داده شده بود. درحالی که در مدل های قبلی به نظر می رسید آنها اطلاعات ورودی را بطور کامل درک می کنند، در عمل این اتفاق حاصل نشده بود.
همچنین باید توجه داشته باشیم که محققان، ربات جدید هوش مصنوعی را در برابر آزمون اخیر و جدید USMLE آزمایش کردند که به تازگی و در سال 2022 در اختیار عموم قرار گرفت، درحالی که مدل های اختصاصی و دامنه ای قبلی مثل BioBERT و PUbMedGPT را با امتحان MedQA-USMLE آزمایش می کردند که اطلاعات آن از سال 2009 در اختیار عموم و در اینترنت قرار گرفته است!
مورد شگفت انگیز دیگر در نتایج این آزمایش این بود که دقت عملکرد ChatGPT با ادامه آزمون افزایش می یافت. در مرحله اول دقت و درستی پاسخ های او کمتر بود و در مرحله سوم به حداکثر خود رسید. این مسئله در افراد واقعی و انسان هایی که این آزمون را می دهند نیز وجود دارد، آنها نیز مسائل و موارد مرحله 1 را سخت تر از دیگر قسمت ها پاسخ می دهند.
این مورد خاص نشان می دهد که عملکرد AI یا هوش مصنوعی دارای ضعف هایی است و ممکن است به توانایی های انسانی محدود و مرتبط شود. این مسئله که عملکرد و دانش ChatGPT با استفاده از نوشته ها و محتوای تولید شده توسط انسان ها تامین شده نیز این مسئله را تصدیق میکند.
در ادامه محققان خاطر نشان می کنند که کمبود اطلاعات و عدم داشتن اطلاعات کافی باعث عدم دقت در پاسخ های چتGPT شد و گاها درک کمتر و تصمیمات نسبتا اشتباهی را توسط هوش مصنوعی ایجاد می کند. با این حال، همچنان این LLM تمایلی به انتخاب گزینه غلط از خود نشان نداد. در این رابطه محققین همچنین می توانند عملکرد ChatGPT را با ادغام و ترکیب آن با سایر مدل هایی که با استفاده منابع بالینی و پزشکی گسترده و معتبر آموزش داده شده اند، بهبود ببخشند.
حدودا در 90 درصد پاسخ های ارائه شده توسط ChatGPT درک و بینشی عالی دیده می شود که برای دانشجویان پزشکی بسیار با ارزش است. این مدل، توانایی جزئی در درک و استخراج مفاهیم غیر بدیهی و جدید از خود نشان داد که ممکن است دستاورد های کیفی بسیاری برای آموزش انسان ها در حوزه پزشکی به همراه داشته باشد.
پاسخ های این مدل هوش مصنوعی همچنین به عنوان یک معیار کاربردی بودن و مفید بودن در فرایند یادگیری انسان بسیار مناسب بود. به این ترتیب، پاسخ ها و خروجی های آن به دانشجویان پزشکی در درک زبان، منطق و روابط اصولی که در متن های آموزشی وجود دارد کمک می کند.
آیا در آینده چت جی‌پی‌تی بیش از این تاثیر گذار خواهد بود؟
مطالعات انجام شده مدارک جدید و شگفت انگیزی را مبنی بر توانایی ChatGPT برای انجام کارهای پیچیده مربوط به مدیریت اطلاعات پزشکی و بالینی نشان می دهد. اگرچه این تحقیقات توانسته یک پروتکل ابتدایی برای سنجش پاسخ های ایجاد شده توسط AI را در خصوص ادراک، تطابق و درستی ارائه کند، اما استفاده علنی از هوش مصنوعی در آموزش و تحصیل در رشته پزشکی به یک زیرساخت تحقیقاتی و علم باز (open science) نیاز دارد. اینکار به استانداردسازی روش های آزمایشی، تشریح و تعیین ارتباطات انسان با هوش مصنوعی کمک می کند.
آنچه محققین همگی بر سر آن اتفاق نظر دارند این است که در آینده ای نزدیک و نه چندان دور، هوش مصنوعی AI می تواند در مسائل بالینی بسیار فراگیر شود. مدل های هوش مصنوعی از جمله چت جی‌پی‌تی استفاده های گسترده ای در تمامی امور پزشکی و آزمایشگاهی خواهند داشت که برای نمونه می توان به تصمیم گیری درباره حمایت از بیماران و یا ارتباطات موثر با مراجعه کنندگان و بیماران اشاره کرد.
عملکرد هوش مصنوعی چت جی‌پی‌تی در مقایسه با نمونه های قبلی و تجربیاتی که مراکز پزشکی و بالینی داشتند آنقدر شگفت انگیز بود که متخصصان بالینی دیگر را نیز ترغیب به انجام آزمایش بر روی آن کرد.
کلینیک AnsibleHealth یک کلینیک پیشرفته در حوزه بیماری های مزمن ریوی است که استفاده های بسیاری از ChatGPT می برد و از آن برای ساده سازی کارهای پیچیده استفاده می کند. برای مثال این کلینیک از چت جی‌پی‌تی می خواهد تا نتایج رادیولوژی را برایشان تشریح کند.
این کار به متخصصین این مجموعه در برقراری ارتباط بهتر با بیماران و مراجعه کنندگان بسیار کمک می کند. از آن مهم تر، این مرکز بالینی از مدل جدید هوش مصنوعی متنی برای بارش فکری در زمان هایی که با مشکلات تشخیص بیماری مواجه هستند استفاده می کنند.
تقاضای عموم برای انجام آزمایشات جدید با فرمت ها و اشکال مختلف بر روی چت جی‌پی‌تی و مدل های هوش مصنوعی همچنان رو به افزایش است. به این ترتیب، مطالعات آینده بر روی چت جی‌پی‌تی باید مشخص کنند که آیا هوش مصنوعی با انجام کارهایی مثل کمک به افراد در درک بهتر سوالات و یا حتی نگارش کامل آنها، می تواند کمی از بار امتحانات پزشکی که بر روی دوش انسان هاست کم کند یا خیر.
source (منابع):
https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000198
