designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high-availability, the library itself is designed to detect TaskTracker (Slave)！ 10 / 74 Hadoop 1.x 架構與限制 比較基本的模組： Hadoop HDFS (Storage) Hadoop MapReduce (Computing Engine + Resource Management + Job Scheduling / Monitoring + ...) 比較明顯的限制： 每個 Cluster 大概就是 4,000 Hadoop 原來的架構，MapReduce 是一切應用的基礎 所有 Job 都得轉換成 MapReduce 16 / 74 MapReduce 改造 Phase 1 先把 Resource Management 從 MapReduce 拉出來，變成 YARN Other YARN Frameworks 就有存在的可能了 17 / 74 MapReduce 改造 Phase 2 讓 MapReduce

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 17 Modules 218 17.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 17.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 31.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 31.6 Working with Arrays inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 35.4 Memory management and arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 35.5 Execution latency, package

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 16 Modules 205 16.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 16.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 30.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 30.6 Working with Arrays Sparse Arrays 1461 92.1 Compressed Sparse Column (CSC) Sparse Matrix Storage . . . . . . . . . . . . . . . 1461 92.2 Sparse Vector Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201 16 Modules 205 16.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 16.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 30.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381 30.6 Working with Arrays Sparse Arrays 1461 92.1 Compressed Sparse Column (CSC) Sparse Matrix Storage . . . . . . . . . . . . . . . 1461 92.2 Sparse Vector Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 17 Modules 218 17.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 17.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 31.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410 31.6 Working with Arrays inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460 35.4 Memory management and arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 35.5 Execution latency, package

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 17 Modules 218 17.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 17.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 31.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 31.6 Working with Arrays inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 35.4 Memory management and arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 35.5 Execution latency, package

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 17 Modules 218 17.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 17.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 31.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 31.6 Working with Arrays inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 35.4 Memory management and arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 35.5 Execution latency, package

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 17 Modules 219 17.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 17.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 31.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409 31.6 Working with Arrays inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459 35.4 Memory management and arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 35.5 Execution latency, package

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 17 Modules 218 17.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 17.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 31.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 31.6 Working with Arrays Sparse Arrays 1708 94.1 Compressed Sparse Column (CSC) Sparse Matrix Storage . . . . . . . . . . . . . . . 1708 94.2 Sparse Vector Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 17 Modules 218 17.1 Namespace management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 17.2 Submodules and relative Julia Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 31.5 Memory Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 31.6 Working with Arrays Sparse Arrays 1708 94.1 Compressed Sparse Column (CSC) Sparse Matrix Storage . . . . . . . . . . . . . . . 1708 94.2 Sparse Vector Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .