data preparation

ตัวอย่างการใช้ Standardization vs Normalization

By Leonardo.ai

Standardization และ Normalization เป็นเทคนิคที่ใช้ในการทำ Scaling สำหรับข้อมูลที่เป็นตัวเลข (Numerical data) มีวัตถุประสงค์และการใช้งานที่แตกต่างกัน ดังนี้

Standardization

แปลงข้อมูลให้มีค่าเฉลี่ยเป็น 0 และส่วนเบี่ยงเบนมาตรฐานเป็น 1
ใช้เมื่อ:
- Feature มี Scale หรือ Unit ที่แตกต่างกัน
- ต้องการเปรียบเทียบ Features ที่มีการกระจายตัวแตกต่างกัน
- ทำงานกับ Algorithm ที่ Sensitive กับ Scale ของ Input feature (เช่น PCA, Clustering algorithm)

Normalization

ปรับขนาดข้อมูลให้อยู่ในช่วงที่กำหนด โดยทั่วไปคือระหว่าง 0 ถึง 1
ใช้เมื่อ:
- ต้องการจำกัดค่าให้อยู่ในช่วงเฉพาะ
- ทำงานด้าน Image processing หรือ Neural networks
- ทำงานกับ Algorithm ที่ Sensitive ต่อ Feature scaling (เช่น Neural networks, k-nearest neighbors)

อ่านเพิ่มเติม >> https://www.nerd-data.com/z-score-standardization-normalization/

Blog นี้ เขียน ✍🏼 ร่วมกับ Claude.ai โดยใช้ Prompt

When we use standardization or normalization?

จัดการกับ Outliers

Garbage in, garbage out. ค่าผิดปกติ (Outliers) จำเป็นต้องถูกจัดการ ก่อนนำข้อมูลไปสร้าง Machine Learning Model ตัวอย่างการจัดการกับค่า Outliers โดยใช้ Python code ดังนี้ import numpy as np import pandas as pd from scipy import stats # ข้อมูลตัวอย่าง

Feature Engineering อาวุธลับของ Data Scientist

จินตนาการถึงหินก้อนใหญ่จากธรรมชาติ สามารถถูกนำไปแกะสลักสร้างผลงานชิ้นเอกได้ แต่ต้องใช้ทักษะและความรู้ของประติมากรในการเปลี่ยนวัตถุดิบให้กลายเป็นประติกรรมที่น่าทึ่ง ในทำนองเดียวกัน นักวิทยาศาสตร์ข้อมูล ทำงานกับข้อมูลดิบ แต่เพื่อปลดล็อกศักยภาพที่แท้จริง

Read next