ทดลองใช้ AI ช่วยทำ Appraisal งานวิจัย – Bing vs. Bard ใครเก่งกว่ากัน

เนื่องด้วยเวลาที่ค่อนข้างจำกัดและความยากในการทำ Appraisal หรือประเมินค่างานวิจัยแบบ Meta-analysis/Systematic review แอดจึงปิ๊งไอเดียให้เจ้า AI เข้ามาช่วยในการทำงานครั้งนี้ ผลลัพธ์จะเป็นอย่างไรไปดูกันเลยครับ

การประเมินค่างานวิจัยประเภท Meta-analysis/Systematic review ค่อนข้างยากกว่างานวิจัยแบบ RCT (แม้จะมีจำนวนข้อการประเมินน้อยกว่า) ทำให้นักศึกษานิยมนำงานวิจัยแบบ RCT มานำเสนออาจารย์มากกว่า ซึ่งในคณะกลุ่มวิทย์สุขภาพจะค่อนข้างคุ้นเคยกับการนำเสนอ Journal ในคาบเรียน Evidence-based learning กันเป็นอย่างดี

แต่เพราะ Meta-analysis/Systematic review ค่อนข้างน่าเชื่อถือว่ามากกว่า เพื่อความปังจึงมีบางคนคิดนำเสนองานวิจัยประเภทนี้ แต่นั่นล่ะครับ มันยากตอนทำ Appraisal นี่แหละ ขนาดเราคิดว่าเราอ่านภาษาอังกฤษอย่างเชี่ยวแล้ว ก็ยังไม่รู้จะตีโจทย์คำถามมันยังไงดี 555

และแล้วแอดก็ได้ไอเดียที่จะให้ AI แช็ตบอตมาช่วยวิเคราะห์ แน่นอนว่าเราจะตัด ChatGPT ออกไป เพราะมันอ่านลิ้งก์ไม่ได้ จะเหลือ Bing Chat และ Google Bard ซึ่งผมใช้ทั้งสองตัวเข้ามาช่วย ๆ กัน วิธีการทำถามเพื่อให้ได้ผลลัพธ์ คือ

– พารากราฟแรก เอาคำถาม Appraisal มาใส่
– พารากราฟสอง ใส่ Hint ของคำถามนั้นลงไปด้วย (ถ้ามี) เพราะมันจะช่วยให้ AI รู้ทิศทางว่าจะตอบอะไรให้ตรงจุดบ้าง
– พารากราฟสาม ใส่ลิ้งก์งานวิจัยต้องเป็นลิ้งก์ที่อ่านได้เต็มหน้าทั้งหมดนะครับ

ผลลัพธ์ได้ดังนี้

Bing

Bard

ส่วนตัวแอดว่าคำตอบของ Bing ดูดีกว่า แต่มีข้อเสียที่ว่า Bing มันรู้เยอะเกิน บางทีมันรู้ว่าเราใช้ให้มันทำการบ้านหาคำตอบให้ ไป ๆ มา ๆ มันจะปฏิเสธไม่ตอบคำถามของเรา

ส่วน Bard จะตอบเกือบทุกคำถามเลยครับ แต่ในบางคำถามมันตอบมั่วแม้จะใส่ Hint แล้ว ซึ่งเราต้องอ่านคำตอบของมันดี ๆ อย่างกรณีนี้งานวิจัยเทียบการใช้ 3% Hypertonic Saline ดีกว่า 0.9% Normal Saline ในผู้ป่วยเด็กที่เป็น Acute Bronchiolitis แต่มันกลับบอกว่าผลลัพธ์ไม่ต่างกันซะงั้น –> Bing ตอบดีและตรงในบางส่วน แต่ไม่ถูกทั้งหมด

โอเค ผมมองว่ามันคือเครื่องทุ่นแรงที่พอใช้ได้ แต่อย่าไปคาดหวังให้มันเข้ามาแทนที่สมองของเราเลยครับ แนะนำว่าเมื่อใช้แล้วอย่าลืมอ่านคำตอบของมันทุกครั้งว่ามันใช่เนื้อหาที่เราอ่านมาในงานวิจัยหรือเปล่า ไม่อย่างนั้นโดนอาจารย์ดุตอนนำเสนอแน่ ๆ เลย