classification

Precision & Recall ในโลกแห่งความจริง

By Leonardo.ai

มี Metrics สำคัญที่ Data Scientist ใช้ในการวัดประสิทธิภาพของ Classification models นั่นคือ 1) Precision และ 2) Recall

มีสูตร ดังนี้

Precision = True Positive / (True Positive + False Positive)

Recall = True Positive / (True Positive + False Negative)

ตัวอย่างในโลกแห่งความจริง

1) การตรวจคัดกรองทางการแพทย์

จินตนาการถึงการตรวจโรคที่พบได้ยาก

Precision: จากผู้ป่วยทั้งหมดที่ผลตรวจเป็นบวก มีกี่คนที่เป็นโรคนี้จริงๆ?
Recall: จากผู้ป่วยทั้งหมดที่เป็นโรคนี้จริงๆ การตรวจสามารถระบุได้ถูกต้องกี่คน?

Precision สูง มีความสำคัญในการหลีกเลี่ยงความเครียดที่ไม่จำเป็นและขั้นตอนการติดตามผลสำหรับผู้ป่วยที่สุขภาพดี Recall สูงมีความสำคัญในการจับกรณีของโรคให้ได้มากที่สุดเท่าที่จะเป็นไปได้

2) ตัวกรองสแปมอีเมล

Precision: จากอีเมลทั้งหมดที่ถูกทำเครื่องหมายว่าเป็นสแปม มีกี่ฉบับที่เป็นสแปมจริงๆ?
Recall: จากอีเมลสแปมทั้งหมด ตัวกรองสามารถจับได้กี่ฉบับ?

Precision สูงป้องกันไม่ให้อีเมลสำคัญสูญหายไปในโฟลเดอร์สแปม Recall สูงช่วยให้กล่องจดหมายของเราปลอดจากข้อความสแปมที่น่ารำคาญหรืออันตราย

3) ผลการค้นหาของเครื่องมือค้นหา

Precision: จากผลลัพธ์ที่ส่งคืนสำหรับคำค้น มีกี่รายการที่เกี่ยวข้อง?
Recall: จากผลลัพธ์ที่เกี่ยวข้องทั้งหมดที่มีอยู่ เครื่องมือค้นหาส่งคืนกี่รายการ?

Precision สูงให้ผลลัพธ์ที่เป็นประโยชน์แก่ผู้ใช้โดยไม่ต้องเสียเวลากับ Link ที่ไม่เกี่ยวข้อง Recall สูงทำให้มั่นใจว่าผู้ใช้จะพบสิ่งที่พวกเขากำลังมองหา แม้ว่าจะเป็นสิ่งที่ค้นหายากก็ตาม

4) คำแนะนำผลิตภัณฑ์ (Product Recommendation)

Precision: จากผลิตภัณฑ์ที่แนะนำให้กับลูกค้า มีกี่ชิ้นที่พวกเขาชอบหรือซื้อจริงๆ?
Recall: จากผลิตภัณฑ์ทั้งหมดที่ลูกค้าจะชอบ ระบบแนะนำกี่ชิ้น?

Precision สูง นำไปสู่ลูกค้าที่พึงพอใจและการใช้ช่องแนะนำที่มีจำกัดอย่างมีประสิทธิภาพ Recall สูงช่วยให้ลูกค้าค้นพบผลิตภัณฑ์ที่พวกเขาจะชอบมากขึ้น

5) การควบคุมคุณภาพในการผลิต

Precision: จากผลิตภัณฑ์ทั้งหมดที่ถูกทำเครื่องหมายว่ามีข้อบกพร่อง มีกี่ชิ้นที่มีปัญหาจริงๆ?
Recall: จากผลิตภัณฑ์ที่มีข้อบกพร่องทั้งหมด กระบวนการควบคุมคุณภาพจับได้กี่ชิ้น?

Precision สูง หลีกเลี่ยงการสูญเสียผลิตภัณฑ์ที่ดี Recall สูง ป้องกันไม่ให้สินค้าที่มีข้อบกพร่องไปถึงมือลูกค้า

Trade off ระหว่าง Precision และ Recall

การเพิ่มอย่างหนึ่งมักจะลดอีกอันหนึ่ง ความเหมาะสมจึงขึ้นอยู่กับแต่ละกรณี

การทดสอบทางการแพทย์อาจให้ความสำคัญกับ Recall เพื่อจับทุกกรณีที่เป็นไปได้ ยอมรับ False Positive บางส่วน

สรุป

Precision และ Recall เป็นแนวคิดที่ทรงพลังมากไปกว่าการประเมิน Classification models ความเข้าใจตัวชี้วัดเหล่านี้ช่วยให้เราสามารถประเมินและปรับปรุงกระบวนการในเรื่องต่างๆ ได้ ในฐานะ Data Scientist บทบาทของเราคือการช่วยให้ Stakeholders หาสมดุลที่เหมาะสมในแต่ละงาน

Blog นี้เขียนร่วมกับ Claude.ai โดยใช้ Prompt … “As a data scientist, Please write a blog explaining precision and recall in real life”