1 2021年09月 机器学习-特征工程 黄海广 副教授 2 本章目录 01 相关概念 02 特征构建 03 特征提取 04 特征选择 3 1. 相关概念 01 认识Python 01 相关概念 02 特征构建 03 特征提取 04 特征选择 4 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019 2019,36(01) 文献解读 定义 目的 作用 是把原始数据转变为模型的训练数据的过程 获取更好的训练数据特征，使得机器学习模型逼 近这个上限 ➢ 使模型的性能得到提升 ➢ 在机器学习中占有非常重要的作用 构成 ➢ 特征构建 ➢ 特征提取 ➢ 特征选择 特征工程相关概念 1. 相关概念 5 通过这张图可以看出，各种不 同算法在输入的数据量达到一 定级数后，都有相近的高准确 度。于是诞生了机器学习界的 中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 项目 特征提取 特征选择 共同点 都从原始特征中找出最有效的特征 都能帮助减少特征的维度、数据冗余 区别 ➢ 强调通过特征转换的方式得 到一组具有明显物理或统计 意义的特征 ➢ 有时能发现更有意义的特征 属性 ➢ 从特征集合中挑选一组具 有明显物理或统计意义的 特征子集 ➢ 能表示出每个特征对于模 型构建的重要性

12 1.6.1.13 目录 Introduction 前端开发者是什么？ 2016 前端开发回顾 展望 2017 第一部分. 前端实践 前端职称 前端开发者所使用的技术 前端开发技能 前端开发者为 ... 而开发 团队里的前端 全能型人才/全栈神话 前端面试 前端开发职位公示 前端开发薪资 前端开发者是如何诞生的 第二部分：学习前端开发 自学 关于互联网／WEB 构建工具 部署工具 4 1.7.38 1.7.39 1.7.40 1.7.41 网站／应用监控工具 JavaScript 错误报告／监控 性能工具 寻找工具的工具 5 前端开发者指南（2017） Introduction 6 作者：科迪·林黎（Cody Lindley），由「前端大师（Frontend Masters）」倾情赞助。 这是一本可供任何人使用的指南 这是一本可供任何人使用的指南，用于学习前端开发实践。该指南大体上勾勒出了前端工程 的轮廓，同时也讨论了前端工程的实践：2017 年，如何学习前端工程，用什么工具来实践？ 笔者有意将本书打造为一份专业资料，为想要或正在实践的前端开发者们提供学习材料和开 发工具。其次，它同样可供主管、CTO、讲师和猎头们深入探索前端开发实践。 本书内容偏向于 WEB 技术（HTML、CSS、DOM、JavaScript）和以这些技术为根基直接构

IMWebConf2017 前端开发者大会 尊敬的 先生/女士，您好！ IMWebConf2017 前端开发者大会将于2017年09月在深圳召开。 会议内容 会议内容 作为业内有一定影响力的专业前端技术交流大会，IMWebConf 已经成功举办五届，累计探讨的议题超过上百个，线 上线下参会者达数千人，累计影响前端爱好者超过数万人。 这是一次难得的和国内外以及腾讯前端大神面对面交流的机会。 司及组织（包括W3C、微软、Google、腾讯、阿里等）的前端达人为我们带来最新前端技术的分享。 关于我们： 关于我们： IMWebConf 是由腾讯IMWeb团队发起的专注于Web前端领域的非营利性开发者大会。 IMWeb团队专注前端领域多年，曾负责腾讯最核心的基础海量业务QQ统一登录、QQ注册、QQ群等，目前主要聚焦 腾讯在线教育战略产品腾讯课堂及企鹅辅导的研发， 并精心打造前端工程师Next学位，开启在线教育变革之路。 2011 年起加入 Google，在山景总部进行 Google Offers 与 Google Wallet 的技术整合工作。目前主要负责 分享和推动 PWA 和 AMP 的前端技术，与 Web 开发者一起通过新颖的前端技术创造更快 更优的用户体验。 PWA与AMP - 移动 Web的现在与未来 Limin zhu 微软程序经理 (Program Manager II)，负责开 源

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 3 模型升级、Adobe 产品整合 LLM 能力、 语音模型 whisper-3 更新、AI 虚拟主播创造等，都是在 这条路上的进一步发展。 五、 AI 编程方面，Copilot 可以根据开发者的代码提示自动补 全代码，大大提高了开发效率。这也引发了代码原创性的讨 论，但它已经实实在在将 LLM 拉进了编程应用领域。 六、 LangChain 的出现，实现了 LLM 之间的链式交互，使多 镜头给到国内。相比国际上当前逢 AI 必 GenAI，国内更 多地还是在 LLM 这一层面，Robin Li 的“卷大模型没意 义，卷应用机会更大”，其实很深刻地指出了内中区别。 本报告以开发者视角为主，从 LLM 切入，但实际上或多 或少与 GenAI 脱不开关系。 2023 年国内 LLM 发展活跃，从最初的百度文心一言“硬 刚”ChatGPT，到后来各式各样的大模型与产品出现，覆

编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | Gitee 数据篇 Part 3：国内 GenAI 生态高亮瞬间 104 | 中国 GenAI 消费应用人气榜 Top10 15 | OSS Compass Insight 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111 开发者是社区的力量源泉

李响， 阿里云 Kubernetes + OAM 让开发者更简单 来自应用开发者的“灵魂拷问” “ Kubernetes 让 Devops 更复杂了！” Kubernetes 对于应用开发复杂在哪里 1. 关注点不同 业务研发 2. 语义与抽象程度不同 业务运维 3. 交互与使用习惯不同 业务研发、运维 YAML 文件 图形化界面 命令行工具 IaC 配置语言 扩容策略 • alibaba- inc.com/v1 kind: APIGateway spec: hostname: app.alibaba.com path: / service_port: 8001 ž 运维特征（Trait） ž 声明式的运维能力的描述 应用组件 运维能力 扩容策略 发布策略 分批策略 访问控制 流量配置 Deployment Function apiVersion: core Workload 与 Trait 注册与发现机制 # 示例：将 Istio VirtualService 注册为平台 的流量管理能力 示例: 使用 OAM 模型管理应用 1. 创建应用组件 2. 绑定运维特征 3. 应用部署成功 示例：手动扩容策略 示例：容器化工作负载 查看完整演示 Scale: - 10,000 nodes/cluster - 100,000 apps/cluster -

面向开发者的云原生 DevOps 平台 角色： 产品 / 架构 开发 测试 运维 运维 / 开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 / 低质量 / 1 0 0 % 开 源 基 本 能 力 开 源 1.5 个月核心重构 65% 功能实现开源 支撑开源社区开发者环境 易 用 性 增 强 接入：安装 10 分钟以内，成功率达 90% 集成环境：支持开发者 Remote debug 工作流：效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021 年 5 月 2021 年 7 月 2021 年

面向开发者的云原生 DevOps 平台 角色： 产品/架构 开发 测试 运维 运维/开发 技术支持 事件 需求设计 架构设计 拆任务、写代码 代码集成 xN 单元测试验证 xN 代码扫描 xN 自测、联调 xN 集成验证 xN 写测试用例 系统验证 xN 自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效/低质量/低效率/高成本： 情。 1 0 0 % 开 源 基 本 能 力 开 源 1.5 个月核心重构 65% 功能实现开源 支撑开源社区开发者环境 易 用 性 增 强 接入：安装10分钟以内，成功率达 90% 集成环境：支持开发者 Remote debug 工作流：效率和性能、开发者体验提升 贡献者流程建立 开 放 社 区 搭 建 2021年5月 2021年7 月 2021年9 月 2021年11

开源开发者的一天 - Apache ServiceComb [社区网站] http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 议程 • 什么是开源 • 开源开发是什么状态 • 如何加入到开源社区 [社区网站] http://servicecomb.apache.org [Github group of people who interact and share certain things as a group.” “一个社群通常指的是一组就特定问题进行讨论分享的群组.” 开发者 用户 贡献者 布道师 文档专家 营销 法务 开源社区构成 开源社区⾥⾯没有项⽬经理，只有技术领导 [社区网站] http://servicecomb.apache.org [Github 加入开源项目能收获什么 • 自身技能提升  可以学习到平时书本里学不到的东西  可以帮助我解决工作中的实际问题 • 视野/人际关系拓展  可以和一群志同道合的人一起成长  可以让我和世界级的开发者一起工作 • 个人品牌建立  可以使我的工作会被更多人看到  可以发挥我的专长在专有领域有所建树 • 更多的职业发展选择  可以让我找到更好的工作或者更喜欢的工作 [社区网站] http://servicecomb