Elena
Sun Nov 17 2024
|
6 คำตอบ
1374
Block Manager ใน Spark คืออะไร?
BlockManager ใน Spark เป็นระบบจัดเก็บข้อมูลแบบกระจายคีย์-ค่าที่ปรับแต่งสำหรับ Spark โดยเฉพาะ โดยทำงานเป็นแคชภายในเครื่องบนโหนดทั้งหมด รวมถึงไดรเวอร์และตัวดำเนินการ โดยให้การรับและตั้งค่าอินเทอร์เฟซที่สอดคล้องกันสำหรับบล็อกข้อมูลที่จัดเก็บไว้ในหน่วยความจำ ดิสก์ หรือนอกฮีป BlockManagerMaster จัดการ BlockManager ทั้งหมดในคลัสเตอร์ โดยประสานงานการจำลองและการย้ายบล็อกข้อมูล
