#IstioCon Apache APISIX from Gateway to Full Traffic Proxy with Istio Jintao Zhang API7.ai #IstioCon About Me ● Apache APISIX PMC ● Kubernetes Ingress NGINX maintainer ● Microsoft MVP ● zhangjintao@apache https://github.com/api7/amesh #IstioCon How to use it Change the injection-template: ● proxy_init ● proxy Ref: https://github.com/api7/amesh/blob/main/docs/en/demo.md #IstioCon The future ● Donate

file:/data/servers/apache-karaf-4.2.0-SNAPSHOT/data/kar/ │ PID configuration HTTP proxies │ proxy.everfree.forest:3128 │ Maven XML settings maven:repository-list Karaf makes the task of managing credentials easier. In order to use encrypted repository (or http proxy) passwords inside settings.xml file, Maven must know the master password stored inside settings-security has to be set in org.ops4j.pax.url.mvn.settings PID property. maven:http-proxy command can be used to add/change/remove HTTP proxy definition. It automatically does a copy of the existing settings.xml file

is set to root:root (Automated) 4.1.3 If proxy kubeconfig file exists ensure permissions are set to 644 or more restrictive (Automated) 4.1.4 Ensure that the proxy kubeconfig file ownership is set to root:root --kubelet-client-certificate=/etc/kubernetes/ssl/kube- apiserver.pem --proxy-client-cert-file=/etc/kubernetes/ssl/ kube-apiserver-proxy-client.pem --service-cluster-ip- range=10.43.0.0/16 --tls-cert-fil --requestheader-allowed- names=kube-apiserver-proxy-client --cloud-provider= --etcd- prefix=/registry --proxy-client-key-file=/etc/kubernetes/ssl/ kube-apiserver-proxy-client-key.pem --allow-privileged=true

Remote，主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Local Proxy OSP Server Service Registry Service Config Center Remote Proxy Cluster API Gateway 备用链路 服务发现 • Local & Remote • 根据接入对象的不同，制定 不同的接入策略，达到 • 接入简单 • 保证性能 • 节省资源 Java App Local Proxy OSP Server Remote Proxy Cluster Thrift over TCP PHP App C/C++/Node JS App Thrift over TCP Thrift over 服务端受限于Proxy支持的协 议（目前只支持HTTP 1.1） Local Proxy Web Server Service Registry API Gateway 健康检查 服务注册 Registry agent 服务发现 HTTP/JSON HTTP/JSON容器化 • Proxy Daemonset • 每台宿主机一台Proxy • Proxy地址文件 •

below: • github.com/istio/istio – 7353c84b560fd469123611476314e4aee553611d • github.com/istio/proxy – c51fe751a17441b5ab3f5487c37e129e44eec823 • github.com/istio/istio.io – 26dacdde40968a37ba9eaa864d40e45051ec5448 exposes unnecessary ser- vices and is accessible to anyone within a default cluster. • The Envoy Proxy admin port is exposed via the Istio sidecar and would allow a malicious workload to override or compromise master branch up to July 15th, 2020. Commit: 7353c84b560fd469123611476314e4aee553611d istio/proxy Istio Envoy Proxy code in the master branch up to July 15th, 2020. Commit: c51fe751a17441b5ab3f5487c37e129e44eec823

connection • HAProxy transparent mode, two connections  L4 • Add IP in TCP Protocol options • Proxy Protocol  L7 • HTTP header “x-forwarded-for” • User Protocol #IstioCon LVS ① user send traffic module in kernel #IstioCon Proxy Protocol  Proxy Protocol v1 PROXY Protocol prepends every connection with a header reporting the client IP address and port. A PROXY Protocol plain-text header has the format: PROXY TCP4 192.0.2.0 192.0.2.255 42300 443\r\n  Proxy Protocol v2 #IstioCon Proxy Protocol client Server Establish TCP connection Proxy Protocol binary header Application data

从配置映射配置出口路由器 POD 目的地列表 15.12. 为项目启用多播 15.13. 为项目禁用多播 15.14. 使用 OPENSHIFT SDN 配置网络隔离 15.15. 配置 KUBE-PROXY 第 第 16 章 章 OVN-KUBERNETES 默 默认 认 CNI 网 网络 络供 供应 应商 商 16.1. 关于 OVN-KUBERNETES 默认 CONTAINER NETWORK Operator 提供了一个 Kubernetes API，用于使用 NMState 在 OpenShift Container Platform 集群的节点上执行状态驱动的网络配置。 kube-proxy kube-proxy 是一个代理服务，在每个节点上运行，有助于为外部主机提供服务。它有助于将请求转发 到正确的容器，并且能够执行原语负载平衡。 负载 负载均衡器 均衡器 OpenShift Container Network Interface(CNI)集群网络供应 商。 spec.kubeProxy Config object 此对象的字段指定 kube-proxy 配置。如果您使用 OVN- Kubernetes 集群网络供应商，则 kube-proxy 配置无效。 字段 字段 类 类型 型 描述 描述 defaultNetwork 对 对象配置 象配置 下表列出了 defaultNetwork

个单独 的二进制。 pilot-agent跟envoy打包在同一个docker镜 像里，镜像由Dockerfile.proxy定义， Makefile（include了tools/istio- docker.mk）把这个dockerfile build成了 ${HUB}/proxy:${TAG}镜像，也就是 Kubernetes里跟应用放在同一个pod下的 sidecar。非Kubernetes情况下需要把 况下需要把 pilot-agent、envoy跟应用部署在一起，这 就有点“污染”应用的意思了。Pilot-Agent的功能介绍 在proxy镜像中，pilot-agent负责的工作包括： • 生成envoy的配置。 • 启动envoy。 • 监控并管理envoy的运行状况，比如envoy出错时pilot-agent负责重启envoy，或者envoy配置变更后 reload envoy。 t istio sidecar）， inject过程中，除了proxy镜像作为sidecar之外，每个pod还会带上initcontainer（Kubernetes中的概 念），具体镜像为proxy_init。proxy_init通过注入iptables规则改写流入流出pod的网络流量规则，使得 流入流出pod的网络流量重定向到proxy的监听端口，而应用对此无感。Init Container的工作原理

14.2. 接合项目 13.14.3. 隔离项目 13.14.4. 对项目禁用网络隔离 13.15. 配置 KUBE-PROXY 13.15.1. 关于 iptables 规则同步 13.15.2. kube-proxy 配置参数 13.15.3. 修改 kube-proxy 配置 第 第 14 章 章 OVN-KUBERNETES 默 默认 认 CNI 网 网络 络供 供应 应商 商 14 Network Interface（CNI）集群网络供 应商。 spec.kubeProxy Config 对 对象 象 此对象的字段指定 kube-proxy 配置。如果您使用 OVN- Kubernetes 集群网络供应商，则 kube-proxy 的配置不会起作 用。 字段 字段 类 类型 型 描述 描述 defaultNetwork 对 对象配置 象配置 defaultNetwork 对象的值在下表中定义： EGRESS_ROUTER_MODE value: http-proxy containers: - name: egress-router-pod image: registry.redhat.io/openshift4/ose-egress-http-proxy env: - name: EGRESS_HTTP_PROXY_DESTINATION 4 value:

● Circuit breaking Istio at Mercari Stabilizing Istio 10 Stabilizing Istio ● Istio sidecar proxy specifications ● Kubernetes shortcomings with sidecar containers ○ Controlling containers lifecycle Istio? ● A full mesh is utopian, know what you need only ● Guardrails for Istio 11 Istio sidecar proxy specifications Stabilizing Istio Pod App container Sidecar container All incoming traffic must Envoy is started before any other container in a pod ● Use a `postStart` lifecycle hook in the istio-proxy container manifest lifecycle: postStart: exec: command: - pilot-agent