ค่าคาดหมายและทฤษฎีสารสนเทศ

ทางลัด: ความแตกต่างความคล้ายคลึงกันค่าสัมประสิทธิ์การเปรียบเทียบ Jaccardการอ้างอิง

ความแตกต่างระหว่าง ค่าคาดหมายและทฤษฎีสารสนเทศ

ค่าคาดหมาย vs. ทฤษฎีสารสนเทศ

ำหรับทฤษฎีความน่าจะเป็นแล้ว ค่าคาดหมาย (expected value, expectation) ของ ตัวแปรสุ่ม คือ ค่าเฉลี่ยถ่วงน้ำหนัก (weighted average) ของทุกๆค่าที่เป็นไปได้ของตัวแปรสุ่ม โดยในการคำนวณการถ่วงน้ำหนักจะใช้ค่าฟังก์ชันความหนาแน่นของความน่าจะเป็น (probability density function)สำหรับตัวแปรสุ่มต่อเนื่อง หรือใช้ค่าฟังก์ชันมวลของความน่าจะเป็น (probability mass function) สำหรับตัวแปรวิยุต ค่าความคาดหมายนี้เมื่อพิจารณาจากกฎว่าด้วยจำนวนมาก ก็คือค่าลิมิตแบบ almost surely ของค่าเฉลี่ยที่ได้จากการสุ่มตัวอย่าง โดยที่จำนวนการสุ่มโตเข้าสู่ค่าอนันต์ หรือกล่าวอย่างไม่เป็นทางการว่า ค่าความคาดหมายคือค่าเฉลี่ยจากการสุ่มวัดที่ทำหลายๆครั้งมาก. ทฤษฎีสารสนเทศ (information theory) เป็นสาขาหนึ่งใน ทฤษฎีความน่าจะเป็น และคณิตศาสตร์เชิงสถิติ ขอบข่ายเนื้อหาของทฤษฎีนี้จะเกี่ยวข้องกับสารสนเทศ, เอนโทรปีของสารสนเทศ, ระบบการสื่อสาร, การส่งข้อมูล, ทฤษฎีอัตราการบิดเบือน, วิทยาการเข้ารหัสลับ, สัดส่วนสัญญาณต่อสัญญาณรบกวน, การบีบอัดข้อมูล, การแก้ความผิดพลาด และหัวข้ออื่น ๆ ที่เกี่ยวข้อง คำแปลที่ตามราชบัณฑิต คือ "ทฤษฎีสารสนเทศ" นี้ มาจากคำว่า "information theory" ซึ่งคำว่า information เป็นคำเดียวกันกับที่หมายถึง สารสนเทศ แต่เนื่องจากความหมายของ information theory นั้นจะเกี่ยวเนื่องกับ เนื้อความในแง่ของสัญญาณ จึงอาจจะใช้คำว่า ทฤษฎีข้อมูล แทนความหมายของสารสนเทศ ที่เป็นในแง่ของเนื้อหาข่าวสาร และ สื่อตัวกลาง หรือสื่อบันทึกในบางกรณี ตัวอย่างของการนำทฤษฎีสารสนเทศมาประยุกต์ใช้ ได้แก่ ZIP Files, เครื่องเล่นเอ็มพีสาม, อินเทอร์เน็ตความเร็วสูงดีเอสแอล, อุปกรณ์สื่อสารไร้สาย อาทิ โทรศัพท์มือถือ วิทยุสื่อสาร, เครื่องเล่นซีดี และการศึกษาเกี่ยวกับหลุมดำ เป็นต้น.

ทฤษฎีความน่าจะเป็น

ทฤษฎีความน่าจะเป็น คือการศึกษาความน่าจะเป็นแบบคณิตศาสตร์ นักคณิตศาสตร์จะมองความน่าจะเป็นว่าเป็นตัวเลขระหว่างศูนย์กับหนึ่ง ที่กำหนดให้กับ "เหตุการณ์" (ความน่าจะเป็นที่เท่ากับ 0 ก็คือไม่มีโอกาสที่เหตุการณ์นั้นจะเกิดขึ้น แต่ถ้าความน่าจะเป็นเท่ากับ 1 แสดงว่าเหตุการณ์เหล่านั้นเกิดขึ้นได้อย่างแน่นอน) ที่เกิดขึ้นแบบสุ่ม ความน่าจะเป็น P(E) ถูกกำหนดให้กับเหตุการณ์ E ตามสัจพจน์ของความน่าจะเป็น ความน่าจะเป็นที่เหตุการณ์ E จะเกิดขึ้น เมื่อ กำหนด ให้อีกเหตุการณ์ F เกิดขึ้น เรียกว่าความน่าจะเป็นมีเงื่อนไข ของ E เมื่อให้ F โดยค่าความน่าจะเป็นคือ P(E \cap F)/P(F) (เมื่อ P(F) ไม่เป็นศูนย์) ถ้าความน่าจะเป็นมีเงื่อนไขของ E เมื่อให้ F มีค่าเช่นเดียวกับความน่าจะเป็น (แบบไม่มีเงื่อนไข) ของ E เราจะกล่าวว่าเหตุการณ์ E และ F เป็นเหตุการณ์ที่เป็นอิสระต่อกันเชิงสถิติ เราจะสังเกตได้ว่าความสัมพันธ์นี้เป็นความสัมพันธ์สมมาตร ทั้งนี้เนื่องจากการเป็นอิสระต่อกันนี้เขียนแทนได้เป็น P(E \cap F).

ค่าคาดหมายและทฤษฎีความน่าจะเป็น · ทฤษฎีความน่าจะเป็นและทฤษฎีสารสนเทศ · ดูเพิ่มเติม »

ตัวแปรสุ่ม

สำหรับทฤษฎีความน่าจะเป็นและสถิติศาสตร์ ตัวแปรสุ่ม (random variable) หมายถึง ตัวแปรที่ค่าของมันวัดได้จากกระบวนการสุ่มหรือกระบวนการที่มีความไม่แน่นอนอยู่ ตัวแปรสุ่มจะเป็นฟังก์ชันที่แปลงเหตุการณ์หรือผล (เช่น ผลลัพธ์ของการทอยลูกเต๋า)ไปเป็นจำนวนจริง (เช่น 1, 2, 3,..., 6) ค่าที่เป็นไปได้ของตัวแปรสุ่มจะแทนผลที่เป็นไปได้ของการทดลองที่ยังไม่ได้ทำหรือค่าของปริมาณที่ค่าจริงนั้นไม่แน่นอน (เช่น ผลของข้อมูลที่ไม่สมบูรณ์ หรือการวัดที่ไม่เที่ยงตรง) หรืออาจมองได้ว่า ตัวแปรสุ่มก็คือปริมาณที่ค่าของมันไม่ถูกเจาะจงไว้ หรือไม่ได้รู้แน่ๆ แต่อาจเป็นได้หลายๆค่า โดยที่การแจกแจงความน่าจะเป็นจะใช้ในการอธิบายถึงโอกาสที่ค่าต่างๆของตัวแปรสุ่มจะเป็นไปได้ หมวดหมู่:ทฤษฎีความน่าจะเป็น หมวดหมู่:การสุ่ม หมวดหมู่:ทฤษฎีทางสถิติ.

ค่าคาดหมายและตัวแปรสุ่ม · ตัวแปรสุ่มและทฤษฎีสารสนเทศ · ดูเพิ่มเติม »