AI does a poor job of diagnosing COVID-19 from coughs, study finds

وبائی مرض کے اوائل میں، متعدد محققین، اسٹارٹ اپس اور اداروں نے ایسے AI نظام تیار کیے جن کا دعویٰ تھا کہ وہ کسی شخص کی کھانسی کی آواز سے COVID-19 کی تشخیص کر سکتے ہیں۔ اس وقت، ہم خود AI کے اس امکان کے بارے میں پرجوش تھے جو وائرس کے خلاف ایک ہتھیار کے طور پر حاصل کیا جا سکتا ہے۔ ایک سرخی میں، ہم توثیق کی کھانسی کی جانچ کرنے والا AI بطور \”امید انگیز\”۔

لیکن ایک حالیہ مطالعہ (پہلا پر اطلاع دی بذریعہ رجسٹر) تجویز کرتا ہے کہ کھانسی کا تجزیہ کرنے والے کچھ الگورتھم ہم سے کم درست ہیں – اور عوام کو – یقین دلایا گیا تھا۔ یہ صحت کی دیکھ بھال میں مشین لرننگ ٹیک کے لیے ایک احتیاطی کہانی کے طور پر کام کرتا ہے، جس کی خامیاں ہمیشہ فوری طور پر ظاہر نہیں ہوتیں۔

ایلن ٹیورنگ انسٹی ٹیوٹ اور رائل سٹیٹسٹیکل سوسائٹی کے محققین نے، جسے یو کے ہیلتھ سیکیورٹی ایجنسی نے کمیشن دیا ہے، کووڈ-19 اسکریننگ ٹول کے طور پر آڈیو پر مبنی AI ٹیک کا آزادانہ جائزہ لیا۔ یونیورسٹی آف آکسفورڈ، کنگز کالج لندن، امپیریل کالج لندن اور یونیورسٹی کالج لندن کے اراکین کے ساتھ مل کر، انہوں نے پایا کہ کھانسی کا پتہ لگانے والے انتہائی درست ماڈل نے بھی صارف کے رپورٹ کردہ نظاموں اور آبادی کے اعداد و شمار پر مبنی ماڈل سے بھی بدتر کارکردگی کا مظاہرہ کیا، جیسے کہ عمر۔ اور جنس.

رپورٹ کے مصنفین نے ٹیک کرنچ کو ایک ای میل انٹرویو میں بتایا کہ \”مضمرات یہ ہیں کہ بہت سے ایپس کے ذریعے استعمال ہونے والے AI ماڈلز صارف کی رپورٹ کردہ علامات کی پیش گوئی کی درستگی کے مقابلے میں بہت کم یا کوئی اہمیت نہیں رکھتے۔\”

مطالعہ کے لیے، محققین نے نیشنل ہیلتھ سروس کے ٹیسٹ اینڈ ٹریس اور REACT-1 پروگراموں کے ذریعے بھرتی کیے گئے 67,000 سے زیادہ لوگوں کے ڈیٹا کی جانچ کی، جس میں شرکاء سے کہا گیا کہ وہ COVID-19 کے لیے ناک اور گلے کے جھاڑو کے ٹیسٹ کے نتائج واپس بھیجیں اور ساتھ ہی ان کی کھانسی کی ریکارڈنگ بھی، سانس لینا اور بات کرنا۔ آڈیو ریکارڈنگ اور ٹیسٹ کے نتائج کا استعمال کرتے ہوئے، محققین نے ایک AI ماڈل کو تربیت دی، یہ دیکھنے کی کوشش کی کہ آیا کھانسی ایک درست بائیو مارکر کے طور پر کام کر سکتی ہے۔

بالآخر، انہوں نے محسوس کیا کہ وہ نہیں کر سکتے ہیں. کنفاؤنڈرز کو کنٹرول کرتے وقت AI ماڈل کی تشخیصی درستگی موقع سے زیادہ بہتر نہیں تھی۔

جزوی طور پر ٹیسٹ اور ٹریس سسٹم میں بھرتی کا تعصب تھا، جس میں حصہ لینے کے لیے شرکاء کو کم از کم ایک COVID-19 کی علامت کا ہونا ضروری تھا۔ لیکن پروفیسر کرس ہومز، مطالعہ کے سرکردہ مصنف اور ایلن ٹورنگ انسٹی ٹیوٹ میں ہیلتھ اینڈ میڈیکل سائنس کے پروگرام ڈائریکٹر کا کہنا ہے کہ ان نتائج سے ظاہر ہوتا ہے کہ کھانسی عام طور پر COVID-19 کی خراب پیش گو ہے۔

\”یہ مایوس کن ہے کہ یہ ٹیکنالوجی COVID-19 کے لیے کام نہیں کرتی،\” انہوں نے ٹیک کرنچ کو ای میل کیے گئے بیان میں بتایا۔ \”COVID-19 جیسے وائرس کی تیزی اور آسانی سے تشخیص کرنے کے نئے طریقے تلاش کرنا اس کے پھیلاؤ کو روکنے کے لیے واقعی اہم ہے۔\”

یہ مطالعہ تجارتی کوششوں کے لیے ایک دھچکا ہے جیسے Fujitsu\’s Cough in a Box، ایک ایپ جسے برطانیہ کے محکمہ صحت اور سماجی نگہداشت کے ذریعے فنڈز فراہم کیے گئے ہیں تاکہ COVID-19 کی علامات کی آڈیو ریکارڈنگ جمع اور تجزیہ کیا جا سکے۔ اور یہ کچھ سائنسی دعووں کو شک میں ڈالتا ہے۔ میساچوسٹس انسٹی ٹیوٹ آف ٹکنالوجی کے محققین کے مشترکہ تصنیف کردہ ایک مقالے میں کھانسی کا تجزیہ کرنے والے COVID-19 الگورتھم کی درستگی 98.5٪ تھی – ایک فیصد جو ماضی میں مشکوک طور پر زیادہ معلوم ہوتا ہے۔

اس کا مطلب یہ نہیں ہے کہ ٹیورنگ انسٹی ٹیوٹ کا مطالعہ کھانسی کا پتہ لگانے کا آخری لفظ ہے جہاں یہ COVID-19 سے متعلق ہے۔ ہومز نے اس امکان کو کھلا چھوڑ دیا ہے کہ یہ ٹیکنالوجی مستقبل میں سانس کے دیگر وائرسوں کے لیے بھی کام کر سکتی ہے۔

لیکن یہ پہلا موقع نہیں ہوگا جب ہیلتھ کیئر اے آئی نے بہت زیادہ وعدہ کیا ہو اور کم ڈیلیور کیا ہو۔

2018 میں، STAT اطلاع دی کہ IBM کے واٹسن سپر کمپیوٹر نے کینسر کے علاج کے غلط مشورے کو تھوک دیا، جو مصنوعی معاملات کی ایک چھوٹی سی تعداد پر تربیت کا نتیجہ ہے۔ ایک تازہ ترین مثال میں، 2021 آڈٹ سیپسس کے مریضوں کی شناخت کے لیے ہیلتھ کیئر سسٹم فراہم کرنے والے ایپک کا اے آئی الگورتھم تقریباً 70 فیصد کیسز سے محروم پایا گیا۔