การแจกแจงปรกติและเอนโทรปีของข้อมูล

ทางลัด: ความแตกต่างความคล้ายคลึงกันค่าสัมประสิทธิ์การเปรียบเทียบ Jaccardการอ้างอิง

ความแตกต่างระหว่าง การแจกแจงปรกติและเอนโทรปีของข้อมูล

การแจกแจงปรกติ vs. เอนโทรปีของข้อมูล

ำหรับทฤษฎีความน่าจะเป็น การแจกแจงปรกติ (normal distribution) เป็นการแจกแจงความน่าจะเป็นของค่าของตัวแปรสุ่มที่เป็นค่าแบบต่อเนื่อง โดยที่ค่าของตัวแปรสุ่มมีแนวโน้มที่จะมีค่าอยู่ใกล้ ๆ กับค่า ๆ หนึ่ง (เรียกว่าค่ามัชฌิม) กราฟแสดงค่าฟังก์ชันความหนาแน่น (probability density function) จะเป็นรูปคล้ายระฆังคว่ำ หรือเรียกว่า Gaussian function โดยค่าฟังก์ชันความหนาแน่นของการแจกแจงปรกติ ได้แก่ โดย "x" แทนตัวแปรสุ่ม พารามิเตอร์ μ แสดงค่ามัชฌิม และ σ 2 คือค่าความแปรปรวน (variance) ซึ่งเป็นค่าที่ใช้บอกปริมาณการกระจายของการแจกแจง การแจกแจงปรกติที่มีค่า และ จะถูกเรียกว่า การแจกแจงปรกติมาตรฐาน การแจกแจงปรกติเป็นการแจกแจงที่เด่นที่สุดในทางวิชาความน่าจะเป็นและสถิติศาสตร์ ซึ่งก็มาจากหลาย ๆ เหตุผล ซึ่งก็รวมถึงผลจากทฤษฎีบทขีดจํากัดกลาง (central limit theorem) ที่กล่าวว่า ภายใต้สภาพทั่ว ๆ ไปแล้ว ค่าเฉลี่ยจากการสุ่มค่าของตัวแปรสุ่มอิสระจากการแจกแจงใด ๆ (ที่มีค่าเฉลี่ยและค่าความแปรปรวนจำกัด) ถ้าจำนวนการสุ่มนั้นใหญ่พอ แล้วค่าเฉลี่ยนั้นจะมีการแจกแจงประมาณได้เป็นการแจกแจงปรกต. อนโทรปีของการทดลองแบร์นูลีซึ่งเป็นฟังก์ชันของโอกาสสำเร็จ ในทฤษฎีข้อมูล เอนโทรปีของข้อมูล คือ เป็นลักษณะที่บ่งชี้ระดับการสุ่มของสัญญาณหรือเหตุการณ์สุ่ม ว่ามีมากน้อยเพียงใด หรือเราอาจมองอีกมุมหนึ่งว่าเป็นตัวบ่งบอกว่าสัญญาณอันหนึ่งบรรจุข้อมูลอยู่เท่าไร เอนโทรปีเป็นแนวคิดของเทอร์โมไดนามิคส์ กลศาสตร์ทางสถิติ และ ทฤษฎีข้อมูล แนวคิดของเอนโทรปีกับเรื่องของข้อมูลมีความเกี่ยวพันกันอย่างมาก อย่างไรก็ตามกว่าที่กลศาสตร์ทางสถิติและทฤษฎีข้อมูล จะพัฒนามาจนความสัมพันธ์นี้ปรากฏขึ้น ก็ใช้เวลานานทีเดียว บทความนี้เป็นบทความเกี่ยวกับเอนโทรปีของข้อมูล (กฎเกณฑ์ของเอนโทรปีที่เกี่ยวข้องกับข้อมูลเชิงทฤษฎี) ตัวอย่างเช่น พิจารณาข้อความในภาษาไทย ซึ่งประกอบด้วยตัวอักษรและเครื่องหมายต่าง ๆ (ซึ่งสัญญาณของเราในที่นี้ ก็คือลำดับของตัวอักษรและเครื่องหมายนั่นเอง) สังเกตว่าตัวอักษรบางตัวมีโอกาสปรากฏขึ้นมาน้อยมาก (เช่น ฮ) แต่บางตัวกลับปรากฏบ่อยมาก (เช่น อ) ดังนั้นข้อความภาษาไทยนั้นก็ไม่ได้เรียกว่าสุ่มซะทีเดียว (ถ้าสุ่มจริง ข้อความน่าจะออกมาเป็นคำมั่ว ๆ อ่านไม่ได้ใจความ) อย่างไรก็ตาม ถ้าเราได้คำชุดหนึ่งมา เราก็ไม่อาจคาดเดาได้ว่าคำต่อไปเป็นคำว่าอะไร แสดงว่ามันก็มี'ความสุ่ม'อยู่บ้าง ไม่ได้เที่ยงแท้ซะทีเดียว เอนโทรปีก็คือการวัดระดับความสุ่มนี้นั่นเอง โดยกำเนิดมาจากผลงานของ คลาวด์ อี แชนนอน ในปีพ.ศ. 2491 (ค.ศ. 1948) ชื่อ A Mathematical Theory of Communication แชนนอนสร้างบทนิยามของเอนโทรปีขึ้นจากข้อสมมติฐานว.