Remote Execution Caching Compiler (RECC) CppCon 2024 September 19, 2024 Shivam Bairoliya Software Engineer© 2024 Bloomberg Finance L.P. All rights reserved. What is RECC? ● Remote Execution Caching source build tool that wraps compiler commands and optionally forwards them to a remote build execution service ○ Encompasses the capabilities of both ccache and distcc ○ Supports remote linking and CC) ○ Supports multiple operating systems (Linux, macOS, Solaris) ● Compatible with any remote execution API server supported by Bazel ○ Single Host Server/Proxy: BuildBox-CASD ○ Distributed Server:

rights reserved. Presenter: Haichen Shen, Yao Wang Amazon SageMaker Neo, Deep Engine Science Dynamic Model in TVM AWS AI© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Models with models© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Support dynamic model in TVM ● Support Any-dim in typing ● Use shape function to compute the type at runtime ● Virtual input_name = "data" input_shape = [tvm.relay.Any(), 3, 224, 224] dtype = "float32" block = get_model('resnet50_v1', pretrained=True) mod, params = relay.frontend.from_mxnet(block, shape={input_name:

manually split up data amongst GPUs / nodes - High-level mechanisms for data distribution / execution necessary. CPU NIC GPU GPU GPU GPU Xe LinkMulti-GPU Systems - NUMA regions: - 4+ GPUs distributed algorithms - Achieve high performance for both multi-GPU, NUMA, and multi-node execution float dot_product(vector& x, vector& y) { auto z = views::zip(x Operate on and modify data using namespace std; using namespace std::ranges; using namespace std::execution; template auto dot_product(R&& x, R&& y) { using T = range_value_t; auto z =

Memory Model C++11 – C++23About Me: alex.dathskovsky@speedata.io www.linkedin.com/in/alexdathskovsky https://www.cppnext.comAlex Dathskovsky | alex.dathskovsky@speedata.io | www.linkedin.com/in/a ExecutionAlex Dathskovsky | alex.dathskovsky@speedata.io | www.linkedin.com/in/alexdathskovsky INO Execution • instruction fetch • if operands available execute it if not fetch them • The instruction is ExecutionAlex Dathskovsky | alex.dathskovsky@speedata.io | www.linkedin.com/in/alexdathskovsky OOO Execution Source:: https://www.semanticscholar.org/paper/RISC-V-Reward:-Building-Out-of-Order-Processo

including some standard ones: an event loop, portable access to the system execution context, nursery for spawned work4 P2300: STD::EXECUTION Proposes: • A set of concepts that represent: • A handle to a compute Example 1: Launching concurrent work6 EXAMPLE: LAUNCHING CONCURRENT WORK namespace ex = std::execution; int compute_intensive(int); int main() { unifex::static_thread_pool pool{8}; ex::scheduler concurrently on a custom execution context libunifex: https://github.com/facebookexperimental/libunifex7 EXAMPLE: LAUNCHING CONCURRENT WORK namespace ex = std::execution; int compute_intensive(int);

perspective: > I understand C++, and I kinda get assembly because of compiler explorer. Our typical model of AoT is “what C and C++ do”, and I want to expand the understanding for what other computation models JiT compilation includes any translation performed dynamically, after a program has started execution. We examine the motivation behind JiT compilation and constraints imposed on JiT compilation systems JiT compilation includes any translation performed dynamically, after a program has started execution. We examine the motivation behind JiT compilation and constraints imposed on JiT compilation systems

4 The start-ts timestamp of the TiCDC task is quite different from the current time. During the execution of this task, replication is in- terrupted and an error [CDC:ErrBufferReachLimit] occurs. What should · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1927 11.3.2 Understanding the Query Execution Plan · · · · · · · · · · · · · · · · · · · · · · · · · 1927 11.3.3 SQL Optimization Process · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2011 11.3.4 Control Execution Plans · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2159 12 Tutorials

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1624 11.3.2 Understanding the Query Execution Plan · · · · · · · · · · · · · · · · · · · · · · · · · 1625 11.3.3 SQL Optimization Process · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1709 11.3.4 Control Execution Plans · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1856 12 Tutorials · · · · · · · · · · · · · · · · 2075 12.9 Execution Principles and Best Practices of DDL Statements · · · · · · · · · · · · · · · 2076 12.9.1 DDL execution principles · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1503 11.3.2 Understanding the Query Execution Plan · · · · · · · · · · · · · · · · · · · · · · · · · 1504 11.3.3 SQL Optimization Process · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1587 11.3.4 Control Execution Plans · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1736 12 Tutorials · · · · · · · · · · · · · · · · 1953 12.9 Execution Principles and Best Practices of DDL Statements · · · · · · · · · · · · · · · 1954 12.9.1 DDL execution principles · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1511 11.3.2 Understanding the Query Execution Plan · · · · · · · · · · · · · · · · · · · · · · · · · 1512 11.3.3 SQL Optimization Process · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1595 11.3.4 Control Execution Plans · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1743 12 Tutorials · · · · · · · · · · · · · · · · 1960 12.9 Execution Principles and Best Practices of DDL Statements · · · · · · · · · · · · · · · 1961 12.9.1 DDL execution principles · · · · · · · · · · · · · · · ·