ค่าคาดหมายและเอนโทรปีของข้อมูล

ทางลัด: ความแตกต่างความคล้ายคลึงกันค่าสัมประสิทธิ์การเปรียบเทียบ Jaccardการอ้างอิง

ความแตกต่างระหว่าง ค่าคาดหมายและเอนโทรปีของข้อมูล

ค่าคาดหมาย vs. เอนโทรปีของข้อมูล

ำหรับทฤษฎีความน่าจะเป็นแล้ว ค่าคาดหมาย (expected value, expectation) ของ ตัวแปรสุ่ม คือ ค่าเฉลี่ยถ่วงน้ำหนัก (weighted average) ของทุกๆค่าที่เป็นไปได้ของตัวแปรสุ่ม โดยในการคำนวณการถ่วงน้ำหนักจะใช้ค่าฟังก์ชันความหนาแน่นของความน่าจะเป็น (probability density function)สำหรับตัวแปรสุ่มต่อเนื่อง หรือใช้ค่าฟังก์ชันมวลของความน่าจะเป็น (probability mass function) สำหรับตัวแปรวิยุต ค่าความคาดหมายนี้เมื่อพิจารณาจากกฎว่าด้วยจำนวนมาก ก็คือค่าลิมิตแบบ almost surely ของค่าเฉลี่ยที่ได้จากการสุ่มตัวอย่าง โดยที่จำนวนการสุ่มโตเข้าสู่ค่าอนันต์ หรือกล่าวอย่างไม่เป็นทางการว่า ค่าความคาดหมายคือค่าเฉลี่ยจากการสุ่มวัดที่ทำหลายๆครั้งมาก. อนโทรปีของการทดลองแบร์นูลีซึ่งเป็นฟังก์ชันของโอกาสสำเร็จ ในทฤษฎีข้อมูล เอนโทรปีของข้อมูล คือ เป็นลักษณะที่บ่งชี้ระดับการสุ่มของสัญญาณหรือเหตุการณ์สุ่ม ว่ามีมากน้อยเพียงใด หรือเราอาจมองอีกมุมหนึ่งว่าเป็นตัวบ่งบอกว่าสัญญาณอันหนึ่งบรรจุข้อมูลอยู่เท่าไร เอนโทรปีเป็นแนวคิดของเทอร์โมไดนามิคส์ กลศาสตร์ทางสถิติ และ ทฤษฎีข้อมูล แนวคิดของเอนโทรปีกับเรื่องของข้อมูลมีความเกี่ยวพันกันอย่างมาก อย่างไรก็ตามกว่าที่กลศาสตร์ทางสถิติและทฤษฎีข้อมูล จะพัฒนามาจนความสัมพันธ์นี้ปรากฏขึ้น ก็ใช้เวลานานทีเดียว บทความนี้เป็นบทความเกี่ยวกับเอนโทรปีของข้อมูล (กฎเกณฑ์ของเอนโทรปีที่เกี่ยวข้องกับข้อมูลเชิงทฤษฎี) ตัวอย่างเช่น พิจารณาข้อความในภาษาไทย ซึ่งประกอบด้วยตัวอักษรและเครื่องหมายต่าง ๆ (ซึ่งสัญญาณของเราในที่นี้ ก็คือลำดับของตัวอักษรและเครื่องหมายนั่นเอง) สังเกตว่าตัวอักษรบางตัวมีโอกาสปรากฏขึ้นมาน้อยมาก (เช่น ฮ) แต่บางตัวกลับปรากฏบ่อยมาก (เช่น อ) ดังนั้นข้อความภาษาไทยนั้นก็ไม่ได้เรียกว่าสุ่มซะทีเดียว (ถ้าสุ่มจริง ข้อความน่าจะออกมาเป็นคำมั่ว ๆ อ่านไม่ได้ใจความ) อย่างไรก็ตาม ถ้าเราได้คำชุดหนึ่งมา เราก็ไม่อาจคาดเดาได้ว่าคำต่อไปเป็นคำว่าอะไร แสดงว่ามันก็มี'ความสุ่ม'อยู่บ้าง ไม่ได้เที่ยงแท้ซะทีเดียว เอนโทรปีก็คือการวัดระดับความสุ่มนี้นั่นเอง โดยกำเนิดมาจากผลงานของ คลาวด์ อี แชนนอน ในปีพ.ศ. 2491 (ค.ศ. 1948) ชื่อ A Mathematical Theory of Communication แชนนอนสร้างบทนิยามของเอนโทรปีขึ้นจากข้อสมมติฐานว.