تبدیل فعالیت مغز به کلمات نوشتاری (متن) توسط هوش مصنوعی

این سیستم می تواند ارتباطات را برای افرادی که به دلیل شرایطی مانند سکته مغزی قادر به صحبت کردن نیستند، متحول کند.

این روش غیرتهاجمی از داده های اسکنر fMRI استفاده می کند و افکار را بدون نیاز به هیچ ایمپلنت جراحی به متن تبدیل می کند. این سیستم هوش مصنوعی اگرچه کامل نیست، اما در نیمی از مواقع با موفقیت ماهیت افکار فرد را ثبت می کند.

هوش مصنوعی رمزگشای معنایی توسط محققان دانشگاه تگزاس در آستین توسعه داده شده است.

این سیستم پتانسیل استفاده با سیستم های قابل حمل تصویربرداری از مغز، مانند طیف سنجی عملکردی نزدیک به مادون قرمز (fNIRS)را دارد.

یک سیستم هوش مصنوعی جدید به نام رمزگشای معنایی می تواند فعالیت مغزی فرد را در حین گوش دادن به یک داستان یا تصور کردن بی صدا یک داستان به جریان پیوسته ای از متن ترجمه کند.

سیستم توسعه یافته توسط محققان دانشگاه تگزاس در آستین ممکن است به افرادی که از نظر ذهنی هشیار هستند و در عین حال قادر به صحبت کردن فیزیکی نیستند، مانند کسانی که براثر سکته ناتوان شده اند، کمک کند تا دوباره به طور قابل فهمی ارتباط برقرار کنند.

این مطالعه که در مجله Nature Neuroscience منتشر شده است، توسط جری تانگ، دانشجوی دکترای علوم کامپیوتر و الکس هوث، استادیار علوم اعصاب و علوم کامپیوتر در دانشگاه UT آستین انجام شده است.

این کار تا حدی به یک مدل ترانسفورماتور وابسته است، شبیه به آن هایی که به ChatGPT Open AI و Google's Bard قدرت می دهند.

بر خلاف دیگر سیستم های رمزگشایی زبان در حال توسعه، این سیستم به افراد برای داشتن ایمپلنت های جراحی نیاز ندارد و این فرآیند را غیرتهاجمی می کند. همچنین شرکت کنندگان نیازی به استفاده تنها از کلمات یک لیست از پیش تعیین شده ندارند.

فعالیت مغز با استفاده از اسکنر fMRI پس از آموزش گسترده رمزگشایی اندازه گیری می شود که در آن فرد به ساعت ها پادکست در اسکنر گوش می دهد.

بعدها، به شرطی که شرکت کننده برای رمزگشایی افکار خود آزاد باشد، گوش دادن آن ها به یک داستان جدید یا تصور گفتن یک داستان به ماشین اجازه می دهد تا متن متناظر را تنها از فعالیت مغز تولید کند.

هوث گفت: "برای یک روش غیرتهاجمی، این یک جهش واقعی به جلو در مقایسه با آنچه قبلا انجام شده است، که معمولاً تک کلمات یا جملات کوتاه است، است. ما در حال دریافت مدل برای رمزگشایی زبان پیوسته برای مدت زمان طولانی با ایده های پیچیده هستیم.

نتیجه یک رونوشت کلمه به کلمه نیست. در عوض، محققان آن را به گونه ای طراحی کردند که خلاصه آنچه گفته می شود یا فکر می شود را، البته به طور ناقص، ثبت کند. در حدود نیمی از مواقع، هنگامی که رمزگشایی برای نظارت بر فعالیت مغزی شرکت کننده آموزش دیده است، ماشین متنی تولید می کند که با معانی مورد نظر کلمات اصلی مطابقت دارد.

برای مثال، در آزمایش‌ها، شرکت‌کننده‌ای که به سخنران گوش می‌دهد و می‌گوید: «هنوز گواهینامه رانندگی‌ام را ندارم»، افکارش به این صورت ترجمه می‌شد: «او هنوز شروع به یادگیری رانندگی نکرده است». با گوش دادن به کلمات، «نمی‌دانستم فریاد بزنم، گریه کنم یا فرار کنم. درعوض، گفتم: «مرا تنها بگذارید!» به این صورت رمزگشایی شد: شروع به جیغ زدن و گریه کرد و بعد او فقط گفت: به تو گفتم که مرا تنها بگذار

با شروع نسخه اولیه مقاله که به صورت پیش چاپ آنلاین منتشر شد، محققان به سوالاتی در مورد سو استفاده احتمالی از این فن آوری پرداختند. این مقاله توضیح می دهد که چگونه رمزگشایی تنها با مشارکت کنندگانی که با اشتیاق در آموزش رمزگشایی شرکت کرده بودند، کار می کرد.

نتایج برای افرادی که کدگشا روی آن ها آموزش ندیده بود، نامفهوم بود و اگر شرکت کنندگانی که کدگشا روی آن ها آموزش دیده بود، بعدا مقاومت نشان می دادند  برای مثال، با فکر کردن به افکار دیگر  نتایج به طور مشابه غیرقابل استفاده بودند.

تانگ گفت: " ما نگرانی ها در مورد استفاده از این فن آوری برای اهداف بد را بسیار جدی می گیریم و برای جلوگیری از آن تلاش کرده ایم." ما می‌خواهیم مطمئن شویم که مردم تنها از این نوع فن‌آوری‌ها استفاده می‌کنند که می‌خواهند و به آن‌ها کمک می‌کند . "

محققان علاوه بر اینکه از شرکت کنندگان خواستند به داستان ها گوش دهند یا به آن ها فکر کنند، از آن ها خواستند تا چهار ویدیوی کوتاه و بی صدا را در حین تصویربرداری تماشا کنند. رمزگشای معنایی توانست از فعالیت مغزی آن ها برای توصیف دقیق رویدادهای خاصی از ویدئوها استفاده کند.

این سیستم در حال حاضر به دلیل وابستگی به زمان مورد نیاز بر روی یک ماشین fMRI برای استفاده خارج از آزمایشگاه عملی نیست. اما محققان فکر می کنند که این کار می تواند به دیگر سیستم های تصویربرداری مغز قابل حمل، مانند طیف سنجی عملکردی نزدیک به مادون قرمز (fNIRS)منتقل شود.

هوث گفت: «fNIRS جایی که جریان خون کم و بیش در مغز در مقاطع مختلف زمانی وجود دارد را اندازه‌گیری می‌کند، که به نظر می‌رسد، دقیقاً همان سیگنالی است که fMRI اندازه‌گیری می‌کند.» "بنابراین، نوع دقیق رویکرد ما باید به fNIRS ترجمه شود،" اگرچه، او خاطرنشان کرد، وضوح با fNIRS کمتر خواهد بود.

الکساندر Huth و جری تانگ یک برنامه ثبت اختراع چند درصدی مربوط به این کار را ثبت کرده‌اند.

 برای مشاهده منبع کلیک کنید.