Cilium的网络加速秘诀
������������������������ Cilium加速网络 性能提升的主要表现: • 不同场景下,不同程度地降低了 网络数据包的“转发延时” • 不同场景下,不同程度地提升了 网络数据包的“吞吐量” • 不同场景下,不同程度地降低了 转发数据包所需的“ CPU 开销” eBPF 简介 eBPF 技术 在 Linux kernel 3.19 开始被 引入,可在用户态进行 eBPF sched_cls 。cilium在内核 TC 处实现数据包转发、负载均衡、过滤 • xdp 。cilium在内核 XDP 处实现数据包的转发、负载均衡、过滤 • cgroup_sock_addr 。cilium在 cgroup 中实现对service解析 • sock_ops + sk_msg。记录本地应用之间通信的socket,实现本地数据包的加速转发 加速同节点pod间通信 cilium 使用 eBPF eBPF 程序,借助 bpf_redirect() 或 bpf_redirect_peer() 等 helper 函数,快速帮助同宿主机间 的流量转发,节省了大量的内核协议栈 处理流程 pod 1 process kernel network stack raw PREROUTING mangle PREROUTING nat PREROUTING tc ingress0 码力 | 14 页 | 11.97 MB | 1 年前3openEuler 22.03-LTS 技术白皮书
6ZB,集中式云计算在带宽负载、网络延时、数据管理成本等方面愈发显得 捉襟见肘,难以适应数据频繁交互需求,边缘计算价值凸显。 openEuler 发布的面向边缘计算的版本 openEuler 22.03 LTS Edge,集成 KubeEdge + 边云协同框架,具备边云应用 统一管理和发放等基础能力,并将通过增强智能协同提升 AI 易用性和场景适应性,增强服务协同实现跨边云服务发现和流 量转发,以及增强数据协同提升南向服务能力。 用户态服务 内核服务 进程的关键区域 openEuler 22.03-LTS 技术白皮书 19 openEuler 22.03-LTS 技术白皮书 18 云原生调度增强 在云业务场景中,交互类延时敏感的在线业务存在潮汐现象,CPU 资源利用率普遍较低 (~15%),在线和离线业务混 合部署是提升资源利用率的有效方式。现有的内核资源分配和管理机制,混部后的在线业务的性能抖动大,服务质量无法 提供的一套用户态库,为用户在多个平台提供一套高速处理数据 报文的编程接口,为通信领域,云数据中心等网络或存储应用场景提供高性能加速。 上图绿框部分为 DPDK 在软件栈中所处位置。 DPDK 提供 lib 库为用户提供高速转发报文接口,PMD 是各个厂家网卡 的用户态驱动(鲲鹏芯片板载网口对应 hns3 PMD)。 APP openss 1 Nginx Ceph zlib … User space schedule0 码力 | 17 页 | 6.52 MB | 1 年前3openEuler 21.09 技术白皮书
创新元数据软更新技术(Soft Update),基于指针的目录双视图计数机制,减少元数据同步开销,有效提升文件 系统 create、unlink、mkdir、rmdir 系统调用性能,较 ext4/dax,元数据操作延时降低 1~4 倍,带宽高 20%~4 倍。 功能描述 directory inode 1 C B A D buckets latest buckets 2 3 4 … 1 页面淘汰策略 冷热内存 执行策略 openEuler 21.09 技术白皮书 13 05/ 云化基座 openEuler 21.09 技术白皮书 14 云原生调度增强 在云业务场景中,交互类延时敏感在线业务存在潮汐现象,CPU 资源利用率普遍较低 (~15%),在线和离线业务混合部署 是提升资源利用率的有效方式。在现有的内核资源分配和管理机制,混部后的在线业务的性能抖动大,服务质量无法的到有效 6ZB,集中式云计算在带宽负载、网络延时、数据管理成本等方面将愈发显 得捉襟见肘,难以适应数据频繁交互需求,边缘计算价值凸显。 openEuler 发布面向边缘计算的版本 openEuler 21.09 Edge,集成 KubeEdge+ 边云协同框架,具备边云应用统一 管理和发放等基础能力,并将通过增强智能协同提升 AI 易用性和场景适应性,增强服务协同实现跨边云服务发现和流量转发, 以及增强数据协同提升南向服务能力。0 码力 | 35 页 | 3.72 MB | 1 年前3openEuler 22.03 LTS SP2 技术白皮书
的明文暴露在 REE 内存中,存在安全风险。 secGear 安全通道基于远程证明和密 钥协商,实现数据拥有方与 TEE 之间完成 密钥协商,并使用协商出来的密钥加密数 据并传输,在 REE 侧转发的数据是密文,在 TEE 中收到数据的密文后解密,达到保护数据安全的传入 TEE 中的效果。 30 openEuler 22.03 LTS SP2 技术白皮书 特性增强 sysmonitor 功能 支持自定义监控框架,支持用户拓展监控功能。 功能描述 自定义监控 文件系统监控 网卡状态监控 系统句柄数监控 关键进程监控 CPU 监控 磁盘 inode 监控 文件监控 内存监控 磁盘 io 延时监控 磁盘分区监控 进程数 / 线程数监控 僵尸进程监控 31 openEuler 22.03 LTS SP2 技术白皮书 特性增强 Gazelle 特性增强 Gazelle 是一款高性能用户态协议栈。它基于 (TSO/CSUM/GRO/..) 自适应调度 极致性能 轻量级协议栈 ltran(协议栈分发管理) lwip kni udp单播 udp组播 …… …… fd路由器 网卡多队列 软/硬转发横型 网卡报文收发 开源依赖特性 Istack管理 dpdk nic 代理式唤醒 轮询/中断模式 区域大页 动态绑核 流量统计 指标日志 运维命令 零拷贝 分布式TCP hash表0 码力 | 48 页 | 5.62 MB | 1 年前3Linux就该这么学 第2版
链,而规则链则依据数据包处理位置的不同进行分类,具体如下: ➢ 在进行路由选择前处理数据包(PREROUTING); ➢ 处理流入的数据包(INPUT); ➢ 处理流出的数据包(OUTPUT); ➢ 处理转发的数据包(FORWARD); ➢ 在进行路由选择后处理数据包(POSTROUTING)。 一般来说,从内网向外网发送的流量一般都是可控且良性的,因此使用最多的就是 INPUT 规则链,该规 8080-8081/tcp 第 9 章介绍的 SSH 远程控制协议是基于 TCP/22 端口传输控制指令的,如果想让用户通过其 他端口号也能访问 ssh 服务,就可以试试端口转发技术了。通过这项技术,新的端口号在收到用 户请求后会自动转发到原本服务的端口上,使得用户能够通过新的端口访问到原本的服务。 来举个例子帮助大家理解。假设小强是电子厂的工人,他喜欢上了三号流水线上的工人小花, 但不好意思表白 但不好意思表白,于是写了一封情书并交给门卫张大爷,希望由张大爷转交给小花。这样一来,情 书(信息)的传输由从小强到小花,变成了小强到张大爷再到小花,情书(信息)依然能顺利送达。 使用 firewall-cmd 命令实现端口转发的格式有点长,这里为大家总结好了: firewall-cmd --permanent --zone= --add-forward-port=port=<源端口号>:proto= :toport=0 码力 | 552 页 | 22.25 MB | 1 年前3Linux命令大全搜索工具 v1.8
ucast_solicit 次的 unicast probe。如果仍然失败,则将向网络广播一个新的ARP请求,此时要 有待发送数据的队 列 如果 Linux 接到一个地址请求,而且该地址指向 Linux 转发的地址,并且接收接口打开了代理 arp 时,Linux 将自动添加一条非永久的代理 arp 记录;如果存在拒绝到目标的路由,则不添加代 理 arp 记录。 1. arp(选项)(参数) arp 直接连接到其它子网内的一个或多个DHCP服务器。该命令在DHCP中继服务器上使用,同时支持 DHCPv4/BOOTP和DHCPv6协议。 1. dhcrelay [选项] [DHCP服务器] 1. -c <跳数> 当转发数据包时,dhcrelay丢弃已经达到一个最大跳数的数据包。默认值是10,最大值是255 2. -4 运行dhcrelay命令作为DHCPv4/BOOTP中继代理。这是默认操作模式 3. -6 --remove-masquerade# 禁止防火墙伪装IP 端口转发 端口转发可以将指定地址访问指定的端口时,将流量转发至指定地址的指定端口。转发的目的如果不指 定 ip 的话就默认为本机,如果指定了 ip 却没指定端口,则默认使用来源端口。 如果配置好端口转 发之后不能用,可以检查下面两个问题: 1. 比如我将 80 端口转发至 8080 端口,首先检查本地的 80 端口和目标的 80800 码力 | 1347 页 | 8.79 MB | 1 年前3高效智能运维[云+社区技术沙龙第29期] - 冲上云霄—腾讯海量业务上云实践
磁盘 主 磁盘 同步中心混合云架构 业务写入 业务接入 代理 存储转发 存储转发 存储转发 失败备机 业务读SET dispatch 深圳到上海 桥头堡 深圳到广州 桥头堡 深圳到上海 桥头堡 深圳到广州 桥头堡 存储转发 存储转发 存储转发 存储转发 存储转发 存储转发 业务读SET dispatch 业务读SET dispatch 上海云0 码力 | 26 页 | 2.39 MB | 1 年前3大学霸 Kali Linux 安全渗透教程
前面介绍了中间人攻击是通过使用各种技术手段对目标主机进行攻击的。主机既然 被攻击,则说明在传输数据的过程中存在有漏洞。接下来就分析一下所存在的漏 洞。 当主机之间进行通信时,通过封装数据包进而转发到目标主机上。转发的数据包中 包括源IP地址、目标IP地址及MAC地址。但是当主机在自己的缓存表中找不到目标 主机的地址时,它会发送ARP广播,在此过程中就可能被其他攻击者冒充目标主 机。 2. ARP欺骗原理 DNS欺骗等。下面以常见 ARP欺骗为例,分别介绍一下ARP欺骗原理。 一般情况下,ARP欺骗并不是使网络无法正常通信,而是通过冒充网关或其他主机 使得到达网关或主机的数据流通过攻击主机进行转发。通过转发流量可以对流量进 行控制和查看,从而控制流量或得到机密信息。ARP欺骗主机的流程如图7.2所 示。 如图7.2所示,当主机A和主机B之间通信时,如果主机A在自己的ARP缓存表中没 有找到主机B 候,主机C响应主机A,说 我是主机B,我的MAC地址是XX-XX-XX-XX-XX-XX,主机A收到地址后就会重新更 新自己的缓冲表。当主机A再次与主机B通信时,该数据将被转发到攻击主机(主机 C)上,则该数据流会经过主机C转发到主机B。 图7.2 ARP欺骗主机 3. 中间人攻击 大学霸 Kali Linux 安全渗透教程 302 7.3 使用社会工程学工具包(SET) 实现中间人攻击0 码力 | 444 页 | 25.79 MB | 1 年前3openEuler 24.03 LTS 技术白皮书
技术白皮书 AO.space 项目发布 AO.space 是一个以保护个人数据安全和隐私为核心的解决方案。通过端对端加密、基于设备认证等技术,确保用户完全掌控 个人账号和数据。同时,采用平台透明转发、点对点加速、局域网直连等技术,让用户随时随地的极速访问个人数据。利用 PWA 和云原生技术,设计并打造前后端一体的应用生态。 AO.space 系统由三个主要部分构成:服务端、客户端和平台端。 服务(Nginx):服务端的入口服务。 - 代理(Agent):既是空间基础服务的管理者,也是服务端、客户端与平台端之间沟通的桥梁,适应操作系统。 - 网关(Gateway):负责 API 的路由、转发、端到端加密和解密、认证以及整体空间应用层请求的授权。 - AOFS:提供空间文件的存储和管理功能。它是一个虚拟文件系统,结合了对象存储和文件存储方法。 - 预览(Preview):负责为空间文件生成预览图。 型数据库提供数据存储和管理。 - NoSQL 数据库实例(Redis):为空间内的非关系型数据库提供数据存储和管理,以及消息功能。 - 网络客户端(Network client):与平台端的网络转发服务建立安全通信通道,保证客户端与服务端在不同网络情况下的稳定 通信。它还用于与客户端建立点对点(P2P)连接。 - 空间应用:空间支持前端应用、后端应用和前后端混合应用三种类型,用于扩展空间功能。这些官方或第三方应用程序可以0 码力 | 45 页 | 6.18 MB | 1 年前3HW弹药库之红队作战⼿册
windows蓝屏技巧 [ 此操作主要为应对不时之需,⽐如,搞蓝屏,登管理员登录抓密码 ] Hash 爆破: Hashcat [ 完全拼GPU ] 0x08 内⽹安全 [内⽹常⽤ "隧道"" / "转发"" / "代理"" 穿透⼿法 提炼汇总 , 防御重点] 出⽹流量刺探 ⽐如,http,dns,以及⼀些穿透性相对较好的tcp端⼝... 这种操作⼀般都会配合wmi,smb,ssh远程执⾏,在内⽹批量快速识别出能出⽹的机器 还需要根据⾃⼰的实际⽬标环境深度改进才⾏ SSH 隧道 加密端⼝转发,socks 实战⽤途⾮常灵活,此处不细说 ] Rdp 隧道 反向SOCKS nps, frp, ssf, CobaltStrike(socks4a & rportfwd ), sscoks ... ⼯具基本都不免杀了,需要⾃⾏处理 正反向TCP 端⼝转发 ⾮常多,就不⼀⼀列举, eg: nginx,netsh0 码力 | 19 页 | 1.20 MB | 1 年前3
共 39 条
- 1
- 2
- 3
- 4