โลโก้
ยูเนี่ยนพีเดีย
การสื่อสาร
ดาวน์โหลดได้จาก Google Play
ใหม่! ดาวน์โหลด ยูเนี่ยนพีเดีย บน Android ™ของคุณ!
ติดตั้ง
เร็วกว่าเบราว์เซอร์!
 

เอนโทรปีของข้อมูล

ดัชนี เอนโทรปีของข้อมูล

อนโทรปีของการทดลองแบร์นูลีซึ่งเป็นฟังก์ชันของโอกาสสำเร็จ ในทฤษฎีข้อมูล เอนโทรปีของข้อมูล คือ เป็นลักษณะที่บ่งชี้ระดับการสุ่มของสัญญาณหรือเหตุการณ์สุ่ม ว่ามีมากน้อยเพียงใด หรือเราอาจมองอีกมุมหนึ่งว่าเป็นตัวบ่งบอกว่าสัญญาณอันหนึ่งบรรจุข้อมูลอยู่เท่าไร เอนโทรปีเป็นแนวคิดของเทอร์โมไดนามิคส์ กลศาสตร์ทางสถิติ และ ทฤษฎีข้อมูล แนวคิดของเอนโทรปีกับเรื่องของข้อมูลมีความเกี่ยวพันกันอย่างมาก อย่างไรก็ตามกว่าที่กลศาสตร์ทางสถิติและทฤษฎีข้อมูล จะพัฒนามาจนความสัมพันธ์นี้ปรากฏขึ้น ก็ใช้เวลานานทีเดียว บทความนี้เป็นบทความเกี่ยวกับเอนโทรปีของข้อมูล (กฎเกณฑ์ของเอนโทรปีที่เกี่ยวข้องกับข้อมูลเชิงทฤษฎี) ตัวอย่างเช่น พิจารณาข้อความในภาษาไทย ซึ่งประกอบด้วยตัวอักษรและเครื่องหมายต่าง ๆ (ซึ่งสัญญาณของเราในที่นี้ ก็คือลำดับของตัวอักษรและเครื่องหมายนั่นเอง) สังเกตว่าตัวอักษรบางตัวมีโอกาสปรากฏขึ้นมาน้อยมาก (เช่น ฮ) แต่บางตัวกลับปรากฏบ่อยมาก (เช่น อ) ดังนั้นข้อความภาษาไทยนั้นก็ไม่ได้เรียกว่าสุ่มซะทีเดียว (ถ้าสุ่มจริง ข้อความน่าจะออกมาเป็นคำมั่ว ๆ อ่านไม่ได้ใจความ) อย่างไรก็ตาม ถ้าเราได้คำชุดหนึ่งมา เราก็ไม่อาจคาดเดาได้ว่าคำต่อไปเป็นคำว่าอะไร แสดงว่ามันก็มี'ความสุ่ม'อยู่บ้าง ไม่ได้เที่ยงแท้ซะทีเดียว เอนโทรปีก็คือการวัดระดับความสุ่มนี้นั่นเอง โดยกำเนิดมาจากผลงานของ คลาวด์ อี แชนนอน ในปีพ.ศ. 2491 (ค.ศ. 1948) ชื่อ A Mathematical Theory of Communication แชนนอนสร้างบทนิยามของเอนโทรปีขึ้นจากข้อสมมติฐานว.

4 ความสัมพันธ์: พ.ศ. 2491อุณหพลศาสตร์ทฤษฎีข้อมูลเอนโทรปี

พ.ศ. 2491

ทธศักราช 2491 ตรงกับปีคริสต์ศักราช 1948.

ใหม่!!: เอนโทรปีของข้อมูลและพ.ศ. 2491 · ดูเพิ่มเติม »

อุณหพลศาสตร์

แผนภาพระบบอุณหพลศาสตร์ทั่วไป แสดงพลังงานขาเข้าจากแหล่งความร้อน (หม้อน้ำ) ทางด้านซ้าย และพลังงานขาออกไปยังฮีทซิงค์ (คอนเดนเซอร์) ทางด้านขวา ในกรณีนี้มีงานเกิดขึ้นจากการทำงานของกระบอกสูบ อุณหพลศาสตร์ (/อุน-หะ-พะ-ละ-สาด/ หรือ /อุน-หะ-พน-ละ-สาด/) หรือ เทอร์โมไดนามิกส์ (Thermodynamics; มาจากภาษากรีก thermos.

ใหม่!!: เอนโทรปีของข้อมูลและอุณหพลศาสตร์ · ดูเพิ่มเติม »

ทฤษฎีข้อมูล

ทฤษฏีข้อมูล (Data Theory) เป็นทฤษฏีที่ว่าด้วยการแทนเชิงนามธรรมของแง่มุมต่าง ๆ ของข้อมูล ซึ่งใช้แบ่งแยกสถานะการณ์ต่าง ๆ ของข้อมูลที่เป็นไปได้ออกด้วยแนวคิดจำนวนน้อย แง่มุมหลัก ๆ สองแง่มุมของทฤษฎีข้อมูลคือ.

ใหม่!!: เอนโทรปีของข้อมูลและทฤษฎีข้อมูล · ดูเพิ่มเติม »

เอนโทรปี

การละลายของน้ำแข็งในน้ำ นับเป็นตัวอย่างหนึ่งของการเพิ่มขึ้นของเอนโทรปีของน้ำแข็ง ซึ่งเดิมมีโมเลกุลเรียงอยู่กับที่ มาเป็นโมเลกุลเคลื่อนที่ไปมาภายในแก้ว เอนโทรปี (entropy) มาจากภาษากรีก εν (en) แปลว่าภายใน รวมกับ τρέπω (trepo) แปลว่า ไล่ หนี หรือ หมุน ถือเป็นหัวใจของกฎข้อที่สองของอุณหพลศาสตร์ ซึ่งเกี่ยวข้องกับกระบวนการทางกายภาพที่เกิดขึ้นเองทางธรรมชาติ การเปลี่ยนแปลงดังกล่าวมีแนวโน้มที่จะทำให้ความแตกต่างของ ไม่ว่าจะเป็น อุณหภูมิ แรงดัน ความหนาแน่น หรือค่าอื่น ๆ ในระบบค่อย ๆ น้อยลงจนกลืนเป็นเนื้อเดียวกัน ซึ่งต่างจากกฎข้อที่หนึ่งของอุณหพลศาสตร์ ซึ่งกล่าวถึงการอนุรักษ์พลังงาน เอนโทรปีเป็นจำนวนซึ่งใช้อธิบายระบบอุณหพลศาสตร์ เมื่อมองในระดับโมเลกุล กระบวนการทางกายภาพที่เกิดขึ้นเองตามธรรมชาติทำให้โมเลกุลมีการเรียงตัวที่ไม่เป็นระเบียบมากขึ้น สามารถแทนได้ด้วยค่าเอนโทรปีที่เพิ่มขึ้น ในการคำนวณ นิยมใช้สัญลักษณ์ S ซึ่งนิยามจากสมการดิฟเฟอเรนเซียล dS.

ใหม่!!: เอนโทรปีของข้อมูลและเอนโทรปี · ดูเพิ่มเติม »

เปลี่ยนเส้นทางที่นี่:

เอนโทรปีของสารสนเทศ

ขาออกขาเข้า
Hey! เราอยู่ใน Facebook ตอนนี้! »