ClickHouse 在苏宁用户画像场景的实践 二〇一九年十月 苏宁科技集团.大数据中心.杨兆辉 1 关亍我  苏宁科技集团大数据中心架构师  曾就职亍中兴通讯10+years ，从事大规模分布式系统研发  10+years C++、Java、Go编程经验，熟悉大数据架构、解决方案  ClickHouse  Github: https://github.com/andyyzh Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 2 选择ClickHouse的原因 1. 速度快 2. 特性发布快 3. 软件质量高 4. 物化视图 5. 高基数查询 6. 精确去重计数（count 重场景。  运维监控 -- 实时聚合分析监控数据，主要使用物化视图技术。  用户画像场景 -- 标签数据的存储、用户画像查询引擎。 7 Contents 苏宁如何使用ClickHouse ClickHouse集成Bitmap 用户画像场景实践 8 Bitmap位存储和位计算 每个bit位表示一个数字id，对亍40亿个的用户id，只需要40亿bit位，

の代わりとして設計されていないことに注意してください。Krita がデジ タルペインティング、コンセプトアート、イラスト、テクスチャリングに最適化さ れている一方で、他のアプリケーションは写真のつなぎ合わせなどの画像操作タスク などで Krita よりも多くの機能を備えている可能性があります。 このマニュアルは EPUB [https://docs.krita.org/ja/epub/KritaManual.epub] ブラシの共有 キャンバス上ブラシエディタ ミラーツール 回転した線に沿ってミラーする お絵描きアシスト 種類 製図のようなパース用に Krita をセットアップする 画像を扱う 画像には何が含まれているの？ メタデータ 画像サイズ 制作者と説明 キャンバスの切り抜きとリサイズ キャンバスのリサイズ 保存、エクスポートとファイルを開く 保存、自動保存とバックアップファイル 保存 自動保存 メニューから新しいド キュメントを作るか、ウェルカムスクリーンの開始にある 新しいファイル をクリックする必要があります。これで新規ファイルのダイアログが表示 されます。もし既にある画像を開きたいなら、ファイル ‣ 開く... を使う か、画像を Krita のウィンドウにドラッグしてください。 新しいドキュメントを作る 新しいドキュメントは次のようにして作ることができます。 1. 一番上のメニューにある

複雑な反復のためにエディターでの活動を記録 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156 9.3.8 X アプリケーションの画像イメージの記録 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 9.3.9 設定ファイルの変更記録 . . . . . . . . . . . . . . . . . . 233 11.6 画像データーツール . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 11.6.1 画像データーツール (メタパッケージ) . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 11.6.2 画像データーツール (GUI) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 11.6.3 画像データーツール (CLI) . . . . . . . . . . . . . . .

PaaS 精准 推荐 知识 图谱 精细化 运营 … iData 大数据分析PaaS 实时 分析 多维 分析 画像 分析 … DataMore 大数据应用PaaS 实时 决策 任务 系统 … 排 行 榜 大数据应用 SaaS系统 iData 用户画像 DataMore 月光宝盒 DataMore 任务系统 iData 数据可视化 游 谱 游戏说 神秘 商店 大数据应用PaaS服务 游戏数据驱动场景 n 实时干预游戏用户 n 精细化、精准化驱动场景服务 n 提升原有服务的增强效果 n iData大数据分析PaaS 在线实时能力 n iData大数据分析：多维分析，画像分析能力 n DataMore大数据实时决策能力 一切以用户价值为依归 17 业务应用实践 iData 2 新大数据分析引擎2.0 业界传统 大数据分析 引擎 大数据分析引擎&存储 Analytical Column3 ColumnN bitmap 画像下钻分布式计算引擎 多维 提取 iData大数据分析引擎 分布式多维计算引擎 基于位图索引和行式内容存储 分布式画像引擎 基于位图索引和列式内容存储 多维 分析 跟踪 分析 下钻 分析 透视 分析 画像 分析 一切以用户价值为依归 19 业务应用实践 iData 2 旧画像系统 Block 1 Block 2

等行业解决方案。 发布轻舟低代码平台 2.0 。 大数据开源项目 Kyuubi 全票进入 Apache 软件基金会孵化器。 有数 BI 个人版永久免费；发布机器学习平台、消费者运营平台、标签画像、流量分析等产品。 2020 2021 发布轻舟云原生软件生产力平台、有数全链路数据生产力平台。 网易云品牌升级为网易数帆，发力数字化转型基础软件。 深度参与社区 Spark 3.x 版本开发；开源企业级数据湖探索平台 数据传输中心 离线数据传输 实时数据传输 运维中心 离线开发平台 实时计算平台 集群运维 任务运维 文件管理 任务开发 租户管理 自助分析 权限管理 可视化调度 数据开发及管理平台 标签画像 消费者运营平台 机器学习平台 BI 有数优势 有数全链路数据生产力平台2.0能力全景图 易用 覆盖企业数据全链路的大数 据产品，全面降低数据使用门 槛。 开放 专注大数据技术领域，核心 数据填报 全渠道 数据融合 会员 标签管理 用户分群 营销 活动管理 投放数据 追踪 活动数据 分析 特征治理 模型管理 交互式建模 可视化建模 在线推理 图分析 标签管理 画像分析 群组管理 API管理 支持数据产品研发 无代码平台，与 BI 、数据填报、复杂报 表、智能决策深度融合。 开放与集成能力 以标准类接口开放所有资源，支持集 成，兼容性强。 内置增强分析

•参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 人工智能应用 Critical Physical World 按Deal样式展现 跟团游、景酒套餐关联多个景点 ，不适合按POI样式展现 季节性明显 冬季温泉订单占比超过20%, 而夏季不到7% 需求个性化 用户人群 时间地域场景 内容形态 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 热销策略 •精确统计POI销量 •Deal -> POI •POI售卖数据不准 •客户端埋点 POI详情页 F_poiid DEAL详情页 F_poiid 下单页 F_poiid 用户画像 常驻 •模型 •LR：预测常驻城市与某维度城市相等的概率 •样本 •调查问卷 •特征 •注册城市 •注册手机号 •手机定位城市 •浏览城市 •消费城市：团购、电影、外卖 •接受短信手机号

（2）品牌价值融入： 解释该创意如何体现品牌的[核心价值1]和[核心价值2]。 （3）记忆点设计： 创造一个朗朗上口的口号或标语，需包含双关语或文字游戏。 （4）情感触发元素： 基于[目标受众画像]的[核心情感需求]，设计一个能引起强烈情感共鸣的创意元素。 （5）时效性挂钩： 将创意与[当前热门社会话题或现象]联系起来，突出时效性。 （6）创意呈现形式： 提出2—3种可能的创意呈现方 考虑创意的可持续性，思考如何将其发展为一个长期营销主题。 请基于以上要求，生成一份完整的创意概念方案。 传播策略：设计精准定位的传播方案提示语 �理论层面： �方法层面： 1. 目标量化指令 2. 受众画像详述 3. 全渠道思维引导 4. 内容形式多样化 5. 互动机制设计 应用示例 目标明确 受众精准 渠道多元 内容匹配 互动性强 为[品牌名称]的[营销活动名称]设计一个全方位的传播策略。该策略应能在多 略应能在多 元化的媒体环境中精准触达目标受众，并实现品牌传播目标。请遵循以下要求： （1）市场洞察（800字内）： 基于最新的市场研究数据，总结目标市场的3个关键趋势和2个主要痛点。 （2）受众画像（1000字内）： 描绘2—3个核心目标受众群体，包括人口统计特征、行为习惯、价值观和媒 体使用偏好。为每个群体设定一个吸引人的昵称。 （3）传播目标（600字内）： 设定3个SMART目标，

（2）品牌价值融入： 解释该创意如何体现品牌的[核心价值1]和[核心价值2]。 （3）记忆点设计： 创造一个朗朗上口的口号或标语，需包含双关语或文字游戏。 （4）情感触发元素： 基于[目标受众画像]的[核心情感需求]，设计一个能引起强烈情感共鸣的创意元素。 （5）时效性挂钩： 将创意与[当前热门社会话题或现象]联系起来，突出时效性。 （6）创意呈现形式： 提出2—3种可能的创意呈现方 考虑创意的可持续性，思考如何将其发展为一个长期营销主题。 请基于以上要求，生成一份完整的创意概念方案。 传播策略：设计精准定位的传播方案提示语 �理论层面： �方法层面： 1. 目标量化指令 2. 受众画像详述 3. 全渠道思维引导 4. 内容形式多样化 5. 互动机制设计 应用示例 目标明确 受众精准 渠道多元 内容匹配 互动性强 为[品牌名称]的[营销活动名称]设计一个全方位的传播策略。该策略应能在多 略应能在多 元化的媒体环境中精准触达目标受众，并实现品牌传播目标。请遵循以下要求： （1）市场洞察（800字内）： 基于最新的市场研究数据，总结目标市场的3个关键趋势和2个主要痛点。 （2）受众画像（1000字内）： 描绘2—3个核心目标受众群体，包括人口统计特征、行为习惯、价值观和媒 体使用偏好。为每个群体设定一个吸引人的昵称。 （3）传播目标（600字内）： 设定3个SMART目标，

進し、生産性を高め、ミスの可能性を減らします。 • 簡単な編集と修正： 重要なのは、既存のダイアグラムの編集が手間のかからないプロセスであるということです。ダイア グラムはテキストから生成されるため、グラフィカルなツールを使って画像を変更するよりも、調整 がかなり簡単で正確であることがわかります。 PlantUML は、シーケンス・ダイアグラムの作成と編集に、わかりやすくユーザフレンドリーなアプ ローチを提供し、初心者と熟練 message 2 @enduml PlantUML 言語リファレンスガイド (1.2023.11) 10 / 544 1.11 図の分割 1 シーケンス図 1.11 図の分割 図を複数の画像に分けるためにキーワード newpage を使います。 新しいページのタイトルをキーワード newpage の直後に書くことができます。 これは、複数ページにわたる長い図を書くときに便利な機能です。 ユースケース図 :user: -up-> (dummyUp) :user: -down-> (dummyDown) @enduml 2.11 図を分割する newpage キーワードは、いくつかのページや画像に図を分割します。 @startuml :actor1: --> (Usecase1) newpage :actor2: --> (Usecase2) @enduml 2.12 左から右に描画する

掌握系统业务 明确系统边界 ⼩小步改造系统 可视化的认识遗留留系统 C4模型、⽤用户画像、⽤用户旅程 C4模型系统架构可视化 国家级 省级 道路路级 市级 C4模型系统架构可视化 系统上 下⽂文图 容器器图 代码图 组件图 已可视化 ⽤用户画像和旅程系统功能⽤用户可视化 ⽤用户画像 ⽤用户旅程 已可视化 突出⽤用户信息，诉求和价值体现 还原业务场景 可视化的划分遗留留系统 微服务架构 遗留留系统拆分 https://www.jianshu.com/p/1e496225b6b6 https://www.jianshu.com/p/f16aae86713a ⽤用户画像/⽤用户旅程 https://insights.thoughtworks.cn/redefine-customer- journey/ https://ixdc.org/2016/schedule-articrle