การกำจัดคุณลักษณะแบบเรียกซ้ำ: มันคืออะไรและเหตุใดจึงสำคัญ

ข้อมูลเป็นแกนหลักของการตัดสินใจสมัยใหม่ และธุรกิจมักจะมองหาวิธีดึงข้อมูลเชิงลึกอันมีค่าออกมา แมชชีนเลิร์นนิงเป็นหนึ่งใน เทคนิคทั่วไปที่ใช้ในองค์กร สำหรับการวิเคราะห์ข้อมูล ซึ่งเกี่ยวข้องกับการฝึกอบรมอัลกอริทึมเพื่อทำการคาดการณ์ตามข้อมูลในอดีต อย่างไรก็ตาม คุณลักษณะบางอย่างในชุดข้อมูลไม่ได้ถูกสร้างขึ้นมาอย่างเท่าเทียมกัน และคุณลักษณะบางอย่างอาจมีผลกระทบต่อประสิทธิภาพของแบบจำลองมากกว่าคุณลักษณะอื่นๆ

การกำจัดคุณลักษณะแบบเรียกซ้ำ เป็นเทคนิคการวิเคราะห์ข้อมูลที่นิยมใช้เพื่อระบุและกำจัดคุณลักษณะที่ไม่เกี่ยวข้องหรือซ้ำซ้อนออกจากชุดข้อมูล ปรับปรุงความแม่นยำและประสิทธิภาพของโมเดลแมชชีนเลิร์นนิง

รับ ใบรับรองการเรียนรู้ของเครื่อง จากมหาวิทยาลัยชั้นนำของโลก รับหลักสูตร Master, Executive PGP หรือ Advanced Certificate เพื่อความก้าวหน้าในอาชีพของคุณ

ในบทความนี้ เราจะสำรวจว่า การลบคุณลักษณะแบบเรียกซ้ำ คืออะไร ทำงานอย่างไร และเหตุใดจึงสำคัญสำหรับธุรกิจที่ต้องการดึงข้อมูลเชิงลึกที่มีความหมายจากข้อมูลของตน

เทคนิคต่าง ๆ ในการเลือกคุณสมบัติคืออะไร?

การเลือกคุณลักษณะเป็นขั้นตอนสำคัญในการเรียนรู้ของเครื่องที่เกี่ยวข้องกับการเลือกแอตทริบิวต์ที่เกี่ยวข้องมากที่สุดจากชุดข้อมูลเพื่อสร้างแบบจำลองที่คาดการณ์ผลลัพธ์ได้อย่างแม่นยำ อย่างไรก็ตาม การเลือกคุณสมบัติที่เหมาะสมนั้นไม่ตรงไปตรงมาเสมอไป มีเทคนิคต่างๆ มากมาย แต่ละแบบมีจุดแข็งและจุดอ่อน ลองมาดูบางส่วนกัน!

วิธีการกรอง

วิธีการกรองเลือกคุณสมบัติที่สร้างขึ้นจากคุณสมบัติทางสถิติ เช่น ความสัมพันธ์กับตัวแปรเป้าหมายหรือความแปรปรวน วิธีการเหล่านี้มีประสิทธิภาพในการคำนวณและสามารถนำไปใช้ก่อนการฝึกโมเดล ตัวอย่างของวิธีการกรอง ได้แก่ การทดสอบไคสแควร์ การเลือกคุณลักษณะตามความสัมพันธ์ และเกณฑ์ความแปรปรวน

วิธีการห่อหุ้ม

วิธีการ Wrapper เลือกคุณสมบัติโดยประเมินประสิทธิภาพของโมเดลการเรียนรู้ของเครื่องด้วยคุณสมบัติย่อย วิธีการเหล่านี้มีราคาแพงในการคำนวณ แต่สามารถนำไปสู่ประสิทธิภาพของโมเดลที่ดีขึ้น ตัวอย่างของวิธีการห่อหุ้ม ได้แก่ การกำจัดคุณสมบัติแบบเรียกซ้ำ การเลือกไปข้างหน้า และการกำจัดย้อนกลับ

วิธีการฝังตัว

สำหรับวิธีการฝังตัว การเลือกคุณลักษณะจะเกิดขึ้นระหว่างการฝึกอบรม วิธีการเหล่านี้รวมถึงเทคนิคต่างๆ เช่น Lasso และ Ridge Regression ซึ่งเพิ่มบทลงโทษให้กับค่าสัมประสิทธิ์ของแบบจำลองเพื่อลดขนาดคุณลักษณะที่มีนัยสำคัญน้อยกว่าให้เป็นศูนย์

วิธีการแบบผสมผสาน

วิธีการแบบผสมผสานผสมผสานเทคนิคการเลือกคุณลักษณะต่างๆ เพื่อให้ได้ผลลัพธ์ที่ดีขึ้น วิธีเหล่านี้มักได้ผลดีกว่าใช้วิธีเดียวเพียงอย่างเดียว ตัวอย่างของวิธีการแบบผสมผสาน ได้แก่ ReliefF และ Random Forest Feature Selection

โดยพื้นฐานแล้ว การเลือกเทคนิคการเลือกคุณสมบัติขึ้นอยู่กับปัญหาเฉพาะ ชุดข้อมูล และทรัพยากรการคำนวณที่มีอยู่

ตอนนี้ เรามาเจาะลึกลงไปในวิธีการตัดคุณลักษณะที่สำคัญที่สุดวิธีหนึ่งสำหรับการกำจัดฟีเจอร์ Recursive Feature Elimination

การกำจัดคุณสมบัติแบบเรียกซ้ำคืออะไร?

Recursive Feature Elimination (RFE) เป็นวิธีการห่อหุ้มที่กำจัดคุณลักษณะแบบวนซ้ำและสร้างแบบจำลองทับสิ่งที่เหลืออยู่ โดยจะจัดอันดับคุณลักษณะตามความสำคัญและกำจัดคุณลักษณะที่สำคัญน้อยที่สุดจนกว่าจะถึงจำนวนคุณลักษณะที่ต้องการ RFE เป็นกระบวนการวนซ้ำที่ทำงานดังนี้:

1. ฝึกฝนโมเดลเกี่ยวกับคุณสมบัติทั้งหมดและจัดอันดับตามความสำคัญ
2. กำจัดคุณสมบัติที่สำคัญน้อยที่สุด
3. ฝึกโมเดลซ้ำกับฟีเจอร์ที่เหลือและกำจัดฟีเจอร์ที่มีนัยสำคัญน้อยที่สุดจนกว่าจะถึงจำนวนฟีเจอร์ที่ต้องการ

RFE พิจารณาการโต้ตอบระหว่างคุณลักษณะและผลกระทบที่มีต่อประสิทธิภาพของแบบจำลอง

เพื่อให้เข้าใจถึงวิธีการทำงานของ RFE ลองพิจารณาตัวอย่าง

สมมติว่าเรามีชุดข้อมูลราคาที่อยู่อาศัยที่มีคุณลักษณะต่างๆ สิบรายการ รวมถึงจำนวนห้องนอน พื้นที่เป็นตารางฟุต และอายุของบ้าน เราต้องการสร้างโมเดลแมชชีนเลิร์นนิงเพื่อทำนายราคาบ้านตามคุณสมบัติเหล่านี้ อย่างไรก็ตาม เราสงสัยว่าคุณสมบัติบางอย่างอาจไม่สำคัญและอาจส่งผลเสียต่อประสิทธิภาพของโมเดล

เราสามารถใช้ RFE เพื่อระบุคุณลักษณะที่เกี่ยวข้องมากที่สุดโดยการฝึกแบบจำลองด้วยคุณลักษณะทั้งหมด จากนั้นจึงกำจัดคุณลักษณะที่สำคัญน้อยที่สุดซ้ำๆ จนกว่าเราจะไปถึงส่วนย่อยที่เหมาะสมที่สุด RFE ฝึกโมเดลระหว่างการวนซ้ำแต่ละครั้งและประเมินประสิทธิภาพโดยใช้ชุดการตรวจสอบข้าม

ตัวอย่างเช่น RFE อาจกำหนดว่าจำนวนห้องนอน พื้นที่เป็นตารางฟุต และสถานที่ตั้งเป็นคุณลักษณะที่สำคัญที่สุดในการทำนายราคาบ้าน ในทางตรงกันข้าม คุณลักษณะอื่นๆ เช่น อายุของบ้าน มีผลเพียงเล็กน้อยต่อความแม่นยำของแบบจำลอง

ทำไม RFE ถึงเข้ามาในภาพ? มันแก้ปัญหาอะไร?

เมื่อแมชชีนเลิร์นนิงแพร่หลายมากขึ้น นักวิทยาศาสตร์ด้านข้อมูลก็ตระหนักว่าฟีเจอร์บางอย่างอาจไม่เกี่ยวข้องหรือซ้ำซ้อน ในขณะที่ฟีเจอร์อื่นๆ อาจส่งผลต่อความแม่นยำของโมเดลอย่างมาก สิ่งนี้ทำให้เกิดหนึ่งในวิธีการที่จำเป็นสำหรับการสร้างแบบจำลองการเรียนรู้ของเครื่องที่มีประสิทธิภาพ นั่นคือ เทคนิคการเลือกคุณลักษณะของการขจัดคุณลักษณะแบบเรียกซ้ำ

Recursive Feature Elimination (RFE) ถูกนำมาใช้เพื่อจัดการกับข้อจำกัดบางประการของวิธีการที่มีอยู่ ในขณะที่กลายเป็นวิธีการแบบ wrapper ที่ลบคุณลักษณะแบบเรียกซ้ำและประเมินผลกระทบที่มีต่อประสิทธิภาพของโมเดล กระบวนการจะดำเนินต่อไปจนกว่าจะถึงจำนวนคุณลักษณะที่เหมาะสมที่สุด

RFE แก้ปัญหาต่างๆ ที่เทคนิคการเลือกคุณลักษณะดั้งเดิมพบ

• RFE เป็นวิธีการเลือกแบบย้อนกลับที่เริ่มต้นด้วยคุณลักษณะทั้งหมด จากนั้นจึงลบคุณลักษณะที่สำคัญน้อยที่สุดออกซ้ำๆ วิธีการนี้เหนือกว่าการเลือกไปข้างหน้า ซึ่งเริ่มต้นด้วยคุณลักษณะที่สำคัญน้อยที่สุดและเพิ่มมากขึ้นจนกว่าจะถึงจำนวนที่เหมาะสมที่สุด
• RFE หลีกเลี่ยงการใช้มากเกินไปโดยการตรวจสอบข้ามระหว่างกระบวนการเลือกคุณสมบัติ การโอเวอร์ฟิตติ้งเกิดขึ้นเมื่อโมเดลซับซ้อนเกินไปและพอดีกับข้อมูลการฝึกมากเกินไป ส่งผลให้ข้อมูลใหม่มีประสิทธิภาพต่ำ
• RFE สามารถนำไปใช้กับโมเดลประเภทใดก็ได้ ทำให้เป็นเทคนิคอเนกประสงค์ที่สามารถใช้ได้ในสถานการณ์ต่างๆ มากมาย

การใช้อัลกอริทึม RFE ใน Python

Python มีไลบรารีมากมายที่สามารถใช้สำหรับการนำอัลกอริทึม RFE ไปใช้ มาดู ตัวอย่าง RFE Python บางส่วนกัน

RFE ด้วย scikit-learn

Scikit-learn เป็นไลบรารีแมชชีนเลิร์นนิงที่ได้รับความนิยมใน Python ซึ่งมีการใช้งานอัลกอริทึม RFE อย่างง่าย ข้อมูลโค้ดต่อไปนี้สาธิตวิธีการใช้ RFE ใน sci-kit-learn:

จาก sklearn.feature_selection นำเข้า RFE

จาก sklearn.linear_model นำเข้า LogisticRegression

โมเดล = LogisticRegression ()

rfe = RFE(รุ่น, n_features_to_select=5)

rfe.fit(X, y)

ในข้อมูลโค้ดด้านบน ก่อนอื่นเราจะนำเข้าคลาส RFE จากโมดูล feature_selection ของ sci-kit-learn จากนั้นเราก็สร้างอินสแตนซ์ของคลาส LogisticRegression ซึ่งจะทำหน้าที่เป็นตัวประมาณฐานของเรา จากนั้นเราจะสร้างอินสแตนซ์ของคลาส RFE โดยส่งผ่านตัวประมาณค่าพื้นฐานและจำนวนของคุณสมบัติที่จะเลือก จากนั้นเราจะปรับวัตถุ RFE ให้พอดีกับข้อมูลและป้ายกำกับของเรา

RFE สำหรับการจำแนกประเภท

ในปัญหาการจัดหมวดหมู่ RFE จะลบคุณลักษณะซ้ำๆ และสร้างแบบจำลองจากคุณลักษณะที่เหลือ การจัดอันดับคุณลักษณะจะขึ้นอยู่กับคะแนนความสำคัญของคุณลักษณะที่คำนวณโดยตัวประมาณ ข้อมูลโค้ดต่อไปนี้สาธิตการใช้ RFE สำหรับปัญหาการจัดหมวดหมู่:

จาก sklearn.datasets นำเข้า make_classification

จาก sklearn.feature_selection นำเข้า RFE

จาก sklearn.tree นำเข้า DecisionTreeClassifier

X, y = make_classification(n_samples=1,000, n_features=10, n_informative=5, n_redundant=0, Random_state=42)

รุ่น = DecisionTreeClassifier()

rfe = RFE(รุ่น, n_features_to_select=5)

rfe.fit(X, y)

พิมพ์(“คุณสมบัติที่เลือก:“, rfe.support_)

พิมพ์ (“การจัดอันดับคุณลักษณะ: “, rfe.ranking_)

ในโค้ดด้านบน ขั้นแรกเราจะสร้างชุดข้อมูลสังเคราะห์โดยใช้ฟังก์ชัน make_classification จาก sci-kit-learn จากนั้นเราก็สร้างอินสแตนซ์ของคลาส DecisionTreeClassifier ซึ่งจะทำหน้าที่เป็นตัวประมาณฐานของเรา จากนั้นเราจะสร้างอินสแตนซ์ของคลาส RFE โดยส่งผ่านตัวประมาณค่าพื้นฐานและจำนวนของคุณสมบัติที่จะเลือก จากนั้นเราจะใส่วัตถุ RFE ลงในข้อมูลและป้ายกำกับของเรา พิมพ์คุณลักษณะที่เลือกและคุณลักษณะการจัดอันดับ

ไฮเปอร์พารามิเตอร์ RFE

RFE มีไฮเปอร์พารามิเตอร์หลายตัวที่สามารถปรับแต่งเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น ไฮเปอร์พารามิเตอร์ที่สำคัญบางตัวได้แก่:

• n_features_to_select: ไฮเปอร์พารามิเตอร์นี้กำหนดจำนวนของคุณสมบัติที่จะเลือก
• ขั้นตอน: ไฮเปอร์พารามิเตอร์นี้กำหนดจำนวนของคุณสมบัติที่จะลบการวนซ้ำแต่ละครั้งค่าเริ่มต้นคือ 1 ซึ่งหมายความว่าคุณลักษณะหนึ่งรายการจะถูกลบออกในการวนซ้ำแต่ละครั้ง
• ตัวประมาณค่า: ไฮเปอร์พารามิเตอร์นี้ระบุตัวประมาณฐานที่จะใช้ตามค่าเริ่มต้น จะใช้ SVM เชิงเส้น
• การให้คะแนน: ไฮเปอร์พารามิเตอร์นี้ระบุเมตริกที่จะใช้สำหรับการจัดอันดับคุณลักษณะค่าเริ่มต้นคือไม่มี หมายความว่าใช้วิธีให้คะแนนของตัวประมาณ
• cv : ไฮเปอร์พารามิเตอร์นี้กำหนดกลยุทธ์การตรวจสอบข้ามที่จะใช้ค่าเริ่มต้นคือไม่มี หมายความว่าจะใช้การตรวจสอบข้าม 3 เท่า

สุดยอดหลักสูตรการเรียนรู้ของเครื่องและหลักสูตร AI ออนไลน์

อนาคตของการกำจัดคุณลักษณะแบบเรียกซ้ำ

อนาคตของ Recursive Feature Elimination (RFE) ดูสดใส เนื่องจากยังคงเป็นเทคนิคยอดนิยมสำหรับการเลือกฟีเจอร์ในแมชชีนเลิร์นนิง ด้วยปริมาณข้อมูลที่เพิ่มขึ้นและความต้องการโมเดลที่มีประสิทธิภาพและแม่นยำมากขึ้น การเลือกฟีเจอร์จึงกลายเป็นขั้นตอนสำคัญในระบบการเรียนรู้ของเครื่อง

การศึกษาเมื่อเร็วๆ นี้แสดงให้เห็นว่า RFE สามารถปรับปรุงประสิทธิภาพของโมเดลแมชชีนเลิร์นนิงได้อย่างมีนัยสำคัญ โดยลดมิติของข้อมูลและกำจัดฟีเจอร์ที่ไม่เกี่ยวข้องหรือซ้ำซ้อน ตัวอย่างเช่น ในการศึกษาโดย NCBI นั้น RFE ใช้สำหรับการเลือกคุณสมบัติในการจำแนกผู้ป่วยโรคซึมเศร้าตามข้อมูลการถ่ายภาพด้วยคลื่นแม่เหล็กไฟฟ้าจากการทำงาน (fMRI) ผลการวิจัยพบว่า RFE เลือกชุดย่อยของคุณสมบัติที่มีความสัมพันธ์สูงกับการวินิจฉัยทางคลินิกของภาวะซึมเศร้า

เนื่องจากสาขาการเรียนรู้ของเครื่องเติบโตอย่างต่อเนื่อง จึงจำเป็นต้องมีเทคนิคการเลือกคุณลักษณะที่ซับซ้อนและมีประสิทธิภาพมากขึ้น งานวิจัยชิ้นหนึ่งที่กำลังได้รับความสนใจคือการใช้การเรียนรู้เชิงลึกสำหรับการเลือกคุณสมบัติ อย่างไรก็ตาม โมเดลการเรียนรู้เชิงลึกมักมีราคาแพงในการคำนวณและต้องการการฝึกอบรมข้อมูลขนาดใหญ่

ในทางตรงกันข้าม RFE เป็นเทคนิคที่ง่ายและมีประสิทธิภาพที่สามารถใช้กับแบบจำลองและชุดข้อมูลต่างๆ ดังนั้นจึงมีแนวโน้มว่า RFE จะยังคงใช้เป็นเทคนิคการเลือกคุณลักษณะยอดนิยมต่อไป

ทักษะการเรียนรู้ของเครื่องตามความต้องการ

บทสรุป

สรุปได้ว่า Recursive Feature Elimination (RFE) เป็นเทคนิคที่มีประสิทธิภาพสำหรับการเลือกฟีเจอร์ในแมชชีนเลิร์นนิง ซึ่งจะดูแลอนาคตที่สดใสหลังจากการใช้งานที่พัฒนาขึ้น RFE ซึ่งเป็นเทคนิคการเลือกคุณสมบัติที่มีประสิทธิภาพ กำลังกระตุ้นการใช้งานในขอบเขตที่หลากหลาย เช่น การวินิจฉัยทางการแพทย์ ชีวสารสนเทศ และการวิเคราะห์ภาพ และเพิ่มการขยายตัวที่ไม่ย่อท้อ

หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับแมชชีนเลิร์นนิงและ AI ให้พิจารณาลงทะเบียนใน โปรแกรมแมชชีนเลิร์นนิงและ AI PG Diploma ของ upGrad โดยร่วมมือกับ IIIT Bangalore โปรแกรมที่ครอบคลุมนี้ครอบคลุมเครื่องมือและเทคนิคล่าสุดในแมชชีนเลิร์นนิงและ AI รวมถึงเทคนิคการเลือกคุณสมบัติ เช่น RFE

โปรแกรมนี้จะมอบทักษะและความรู้ที่จำเป็นในการสร้างและปรับใช้โมเดลแมชชีนเลิร์นนิงสำหรับแอปพลิเคชันในโลกแห่งความเป็นจริง

สมัครตอนนี้ และรับประโยชน์มากมายจากการเรียนรู้แบบดื่มด่ำกับ upGrad!

คุณยังสามารถดูหลักสูตรฟรี ของเราที่เปิดสอนโดย upGrad ในสาขาการจัดการ วิทยาศาสตร์ข้อมูล การเรียนรู้ของเครื่อง การตลาดดิจิทัล และเทคโนโลยีหลักสูตรทั้งหมดเหล่านี้มีทรัพยากรการเรียนรู้ชั้นยอด การบรรยายสดทุกสัปดาห์ การมอบหมายงานในอุตสาหกรรม และใบรับรองการสำเร็จหลักสูตร – ทั้งหมดนี้ไม่มีค่าใช้จ่าย!

บล็อก AI และ ML ยอดนิยม & หลักสูตรฟรี