從微軟角度看 Kubernetes 對公有雲所帶來的改變與挑戰 Tom Lee 雲端解決方案架構師 合作夥伴暨商務事業群 台灣微軟 Policy Routing Telemetry 智慧端點卻連接著笨管線 Smart endpoints, dumb pipes 過去 25 年都是如此運作 服務數量越來越多，端點越來越多，該如何管理 ? 服務網格 Service Mesh 更聰明的管線

微博搜索/丁振凯 2018.07.29 微博Service Mesh实践 —Weibo MeshService Mesh Meetup · BeiJing �2 微博Service Mesh实践 - WeiboMesh CONTENTS 内容提要为什什么要做跨语⾔言服务化 • 需求 • 趋势Service Mesh Meetup · BeiJing 平台体系 微博Service Mesh实践 Graphite ➢ 实时统计监控 平台微服务相关建设⽐比较完善 Notify Subscribe RegisterService Mesh Meetup · BeiJing 业务部⻔门调⽤用链 微博Service Mesh实践 - WeiboMesh �5 RPC A WEB A 平台体系 RPC B WEB B Golang 服务 PHP 服务 OR服务 …… RestFul Meetup · BeiJing 趋势 �6 微博Service Mesh实践 - WeiboMesh 微服务 1 容器器化 2 DevOps 3 云原⽣生 4 服务治理理与业务逻辑解耦，可持续交付跨语⾔言服务化⾯面临的问题 • 改造成本 • 服务治理理Service Mesh Meetup · BeiJing 改造成本 �8 微博Service Mesh实践 - WeiboMesh

微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • • 深度化 • 特征深度化：特征embedding • 模型深度化：深度学习模型， Wide&Deep；DeepFM 4 深度学习 物料粗排 特征向量化 基于Item2vec的 博主召回和微博 召回 物料精排 向量索引 DSSM/FM/FF M生成博主与物 料向量，采用 向量进行召回 特征向量化：Item2vec 向量索引：FM/FFM/ DSSM 模型召回：DIN/DIEN/TDM 平台架构 用户 微博 曝光/阅读 点击/互动 Feed流排序 数据样本 正样本：曝光有互动 负样本：曝光无互动 样本数据 推荐引擎 业务引擎 用户特征 女性，19-22岁，北京 爱好娱乐，明星，高 活跃…… 特征数据 数据样本 模型参数求解： 损失函数误差最小： 梯度下降等迭代求解 模型训练 WeiFlow 控制台 实时计算 实时统计，…… 特征计算 微博特征 9点发布，带视频，北

深度学习在微博Feed流应用实践 刘博 新浪微博机器学习研发部关系流算法负责人 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3 72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • 传播性强 Ø 存在问题 • 信息过载 • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 特征 目标 模型 效果 Ø CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 •

1. 服務網格是什麼? 簡要歷史回顧 2. 什麼是Consul，它如何工作? 3. 演示: 如何在非容器化的環境下使用Consul的服 務網格 4. 問&答 ⁄ 簡要歷史回顧: 從單體式軟件到微服務 The Dawn of Time (pre-2010) In the beginning was the monolith The Age of Enlightenment Breaking service oriented architecture service mesh 單體式與微服務軟體架構對比 The Reformation 服務網格是一個輕量級的基礎架構組件，用來解決以下問題： ▪ 服務都在哪裡運行? ▪ 它們都健康嗎? ▪ 怎樣保證服務之間客戶無障礙安全互聯? ▪ 整個軟件的所有功能模塊是否都能夠容器化？ ▪ 是不是所有容器化了的微服務都能夠在同一個集群/數據中心/公有雲運帷？ Vault, Consul, Nomad, Packer, Vagrant 公有雲出現之前的軟件網絡安全 軟體所運行在企業的數據中心中固定的服務器 上，由防火牆和負載均衡器保護。 軟體的網絡安全是基於IP地址和端口，以及防 火牆來控制的。 軟體網絡安全-在雲上引入微服務後 單體式軟體被分割成了小的功能模塊（可能是 容器化了的微服務），這些模塊在雲上更容易 實施也更容易擴展 但是網絡邊界怎麼辦

Kubernetes的聯網是由容器網路介面(CNI)推動，讓Kubernetes元件和應用程式能夠 彼此通訊。目前有各式各樣的網路功能解決方案可供選擇，但並不是所有 Kubernetes發行版本都支援所有網路功能軟體。有鑑於此，組織應謹慎選擇 Kubernetes發行版本，不是選擇版本支援本身所需的特定網路功能解決方案，就是 要選擇提供最廣泛選項的版本。 • Canonical Kubernetes支援 Flannel、 Operators(以下簡稱「Charm」)利用模型導向作業(Model- Driven Operations)的概念，協助部署及管理Kubernetes，涵蓋各種不同的雲端供 應商及執行個體。Juju模型可讓低階儲存、運算、網路及軟體元件合理作為單一實 體，並於適當時在全模型套用共同設定。Charm能夠有效隨元件寄送自動化規則， 將第0天至第2天的作業變為可重複及可靠的程式碼。 其他廠商並未採用模型導向作業以隔離模型與平台，而是仰賴範本系統用於多雲部 Rancher支援x86及ARM。 7 20.價格 Canonical Kubernetes的價格效能，是這三種發行版本中最出色的，主要原因是能 夠以Juju自動化輕鬆部署及管理，以及零授權費的Canonical軟體；此外其中也以每 主機模式向企業提供具高度成本效益的支援服務。 OpenShift則是完全相反，收取高昂的授權費，採用每核心支援模式，因此 OpenShift的TCO一般比其他發行版本高出數倍之多。再者，OpenShift的長期運作

cpl.thalesgroup.com 挑戰：保護 Kubernetes 環境的應用 程式安全 容器是為服務架構套件配置和軟體相依性的必要元素。 Kubernetes 是用於部署和管理這些容器的開源軟體。 使 用 Kubernetes 可以更快地交付、部署和管理容器化應用 程式，透過可重複使用的模組化元件提高效率、優化資源利 用和降低授權費用以節省成本。 然而還是存在各種風險： • 特權用戶濫用

Application Security Test (DAST) 軟體元件分析: Software Component Analysis (SCA) 測試 提交 部署 生產 持續整合 持續交付與部署 預提交 提交 監控 滲透測試 紅隊測試 互動應用安全測試 動態應用安全測試 安全強化檢查 軟體元件分析 深度白箱測試 異動白箱測試

Click to edit Master title style 15 GitOps 的好朋友 – xxxOperator • Operator 的目標是將 operation 知識 放入軟件中 • Operator 運行在 Kubernetes 集群內 並根據宣告式 (Declarative) 的 CRD 文件來自動化常見的 Day 1和 Day2 的活動。 15 Click to