4 Python机器学习性能优化
Python机器学习性能优化 以BERT服务为例例,从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化,取决于热点部分的占⽐比和该部分的加速程度 No Free 再加上正经多线程 model inference optimize • 终于到了了我们直觉的优化部分 • 先补了了补GPU和Cuda的知识 • ⼏几个可以选择的⽅方案: 1. 买更更多更更贵的机器器——fp16、v100、cpu化 2. 优化算法——知识蒸馏 3. 优化实现——jit/TensorRT PyTorch jit • 原理理介绍 • 转化为graph截图 TensorRT0 码力 | 38 页 | 2.25 MB | 1 年前33 基于Azure的Python机器学习 王大伟
基于Azure的Python机器学习 平安金融壹账通大数据研究院 微软MVP 王大伟 目录 CONTENTS Azure与Python 如何用Azure完成机器学习 Azure与自动机器学习 Azure的相关学习资料 Azure与Python 日渐流行的Python TIOBE给出的排行榜是具有权威性质的,是判断语言流行趋势的指标。 TIOBE排行榜的网址是:https://tiobe com/tiobe-index/ 日渐流行的Python 日渐流行的Python 日渐流行的Python 为什么用Python完成机器学习 Python的优势:易学习、大量不断更新的各领域库、尤其适合完成机器学习相关任务。 Python机器学习相关库介绍: Sklearn机器学习地图 Azure是什么? Azure 是一个不断扩展的云计算服务集合。通过 Azure,公司和组织可以加快发展步伐,提高工作 战。 如何用Azure完成机器学习 Azure机器学习 进入Azure服务页面 :https://portal.azure.com/#home Azure机器学习 通过点击“所有服务”,我们可以看到Azure可提供的服务非常多 找到我们本次需要的“AI + 机器学习” Azure机器学习 在“机器学习服务工作区”中可以看到已有的服务 Azure机器学习 选择“添加”按钮,填写相关信息0 码力 | 31 页 | 3.69 MB | 1 年前3python3学习手册
python3学习手册 简介: Python官网: h�ps://www.python.org Python由Guido van Rossum于1989年底发明,于1991年发行第一版, Python源代码遵循GPL协议 Python是一种解释型、面向对象、动态数据类型、可交互的语言 python2.0于2000-10-16发布,于2020年1月1日停止更新2.x版本, Python-2.7成为最后一个py0 码力 | 213 页 | 3.53 MB | 1 年前35 Python深度学习实践
深度学习实践 from Tensorflow to AI-Hub 王顺 – Google Cloud 目录 CONTENTS 从零开始 初步修改 业务升级 实践指南 1 从hello world开始 以深度学习的第一个案例MNIST为例 学习Tensorflow框架的使用及代码编写风格 理解TF Mac CPU运行结果 GPU运行结果 TPU运行结果 TPU的创建和使用 TPUs • https://www.tensorflow.org/tutorials/distribute/tpu_custom_training 3 业务升级 以上已经针对MNIST做了一些深入学习 接下来思考如何满足实际业务上的需要 LEGO积木 22 Component: ExampleGen examples = csv_input(os.path.join(data_root JS 5. Pipeline Kubeflow Runtime Airflow Runtime 6. 协作 Takeaways • 在不同设备上执行训练 • 基于AI产品的全流程 • 深度学习实践: • 质量 • 效率 • 专注 • 稳定 • 参与和行动!!! THANK YOU 希望对大家有所帮助和启发0 码力 | 38 页 | 4.85 MB | 1 年前3许振影 Python 深度学习技术在医学领域的应用与前景
Python深度学习技术在医 疗领域的应用与前景 许振影 目录 CONTENTS Python的数据科学生态 深度学习在医疗领域应用实践 Python的数据科学生态 •Python的数据科学生态 •Python的数据科学生态 •Python的数据科学生态 Kdnuggets&Kaggle :Deep Learning Framework Power Scores 2018 深度学习 深度学习 在医疗领域应用实践 深度学习在医疗领域论文情况 Kwak G H J, Hui P. DeepHealth: Deep Learning for Health Informatics[J]. arXiv preprint arXiv:1909.00384, 2019. 机器视觉在医学领域应用 物理驱动 1898-1995 X光、超声、核磁共振 热成像、同位素成像 应用驱动 1990- 将CT图像中除肺部以外的无用信息剔除 肺部CT预处理流程 肺部区域结构示意 肺结节处理案例-工程 DataLoader Model Trainer Predict 肺结节处理案例-工程 机器视觉在医学领域应用 自然语言处理在医疗中的应用 自然语言处理在医疗中的应用 医疗应用与前景 • 起步阶段 标准制定 FDA,CFDA认证 医疗器械认证 标准资源库、标准测试集 因果性/可解释性0 码力 | 17 页 | 1.84 MB | 1 年前3PyConChina2022-上海-基于Python的深度学习框架设计与实现-刘凡平
基于Python的深度学习框 架设计与实现 主讲人: 刘凡平 介绍大纲 一、背景 二、原理:深度学习框架的一般性结构 三、设计 四、应用案例 五、思考 一、背景 深度学习框架是包含深度学习模型设计、训练和验证的一套标准接口、特性库和工具包,集成深度学习 的算法封装、数据调用以及计算资源的使用,同时面向开发者提供了开发界面和高效的执行平台,是算法工 程师的必备工具之一。 美国 美国互联网对AI底层技术战略性投入力度较大,但中国的AI产业主要受需求拉动,大多数人工智能 公司布局应用层。 一、背景:深度学习框架的演进 一、背景:深度学习框架的重要性 二、原理:深度学习框架结构 ����� ��������� � � � ����� ���������� ������� ��������� �� �� � � � ������� ������ ������ 决方案或一般性方法。 提供模型生命周期中 科配置的各类功能组件。 实现框架最基础、最 核心的功能,帮助开发者 屏蔽底层硬件技术细节。 三、设计:最小化的深度学习框架 从模型的设计者角度思考,一个模型设计的最小使用内容。 三、设计:最小MVP深度学习框架的层次逻辑 � � � � Datasets DataLoader ABCDataset ABCDataLoader � � � � ���0 码力 | 15 页 | 2.40 MB | 1 年前38 4 Deep Learning with Python 费良宏
深度学习 -用 PYTHON 开发你的智能应用 / , 费良宏 lianghon@amazon.com AWS Technical Evangelist 21 April 2016 关于我 工作:Amazon Web Services / Evangelist 7 年 Windows/ Internet/ Cloud @ 3 年 iOS/ Mobile App @ 1.5 年 Cloud Cloud Computing @ 技术关注: 云计算:架构、大数据、计算优化 机器学习:深度学习、自然语言处理 语言:Python、Go、Scala、Lua Web:爬虫 2016的目标:Web爬虫+深度学习+自然语言处理 = ? Microso� Apple AWS 今年最激动人心的事件? 2016.1.28 “Mastering the game of Go with deep 人工智能 VS. 机器学习 VS. 深度学习 人工智能发展的历史 四大宗师 Yann Lecun, Geoff Hinton, Yoshua Bengio, Andrew Ng 机器学习 机器学习是一门人工智能的科学。机器学习算法是一类从 数据中自动分析获得规律,并利用规律对未知数据进行预 测的算法 机器学习 计算机能够分辨出来他/她是谁吗? 机器学习 机器学习 基于过去的事实和数据,用来发现趋势和模式0 码力 | 49 页 | 9.06 MB | 1 年前32 张孝峰 Python与云 AWS的Python原生应用浅析
AI / 机器学习 • 自动化运维 • 网络爬虫 • 大数据分析 48 82 160 280 516 722 1017 1430 1,957 2009 2011 2012 2013 2014 2015 2016 2017 2018 发布的功能和服务数量 AWS同样功能丰富 AWS向客户提供超过165项功能全面的服务 涵盖计算、存储、数据库、联网、分析、机器人、 机器学习与人工智能、物联网、移动、安全、混 Step Functions Rekognition Transcribe Comprehend AWS机器学习、人工智能服务 机器学习框架和基础设施 框架 接口 基础设施 P3 & P3dn C5 FPGA DL AMI Elastic Inference 机器学习服务 Amazon SageMaker Ground Truth Notebooks Algorithms + Optimization Deployment Hosting 人工智能服务 视觉 语音 语言 聊天机器人 预测 推荐 Personalize Forecast Lex Translate Comprehend Polly Transcribe Rekognition Image & Video Textract 自由选择机器学习框架 内置常见框架 全托管运行 或者 自己动手安装 AWS - 运行TensorFlow的首选平台0 码力 | 42 页 | 8.12 MB | 1 年前31_丁来强_开源AIOps数据中台搭建与Python的作用
缺少持续改进(运维⼈人员⼤大部分时间忙于救⽕火) • ⼈人员学习速度跟不不上业务增⻓长和问题出现的速度 基本概念 • AIOps = Artificial Intelligence for IT Operations • 组合⼤大数据 + 机器器学习 + 分析来帮助IT运维: • 发现、预测、修复问题 ⼤大数据 机器器学习 分析 Garner:AIOps对IT运维的改进 ⼤大数据促进平台融合 IT运维⼈人员、开发⼈人员、数据⼯工程师、 • 安全运维、合规审计⼈人员、商务分析师 • Garner预测未来5年年: • AIOps会从功能演变成平台并落地 • 到2022年年,40%企业会使⽤用AIOps 机器器学习促进ITOps的主要⽅方式 降噪、去重 可视化与统计分析 增强描述性 descriptive 增加预测能⼒力力 proactive capabilities 增强排错 diagnostic 统计关联分析:多维度的实时关联统计与分析⽀支持,⽀支持交互式add-hoc⽅方式 • 数据治理理: • 数据加⼯工:通⽤用数据模型;多维机器器数据、半结构化的规整、各种第三⽅方数据关联 • 数据⽣生命周期管理理(时序数据的归并、变化数据更更新等) 机器器学习对分析增强的⽅方向 增强点 描述 统计性分析 基于IT实体与数据,在单维、多维变量量上的关联、聚类、分类和推断。 ⾃自动模式发现与预测0 码力 | 48 页 | 17.54 MB | 1 年前31 藤井美娜 Python的NLP实战分享 如何实现合同风险预测模型
| section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature,放进机器学习模型里。 EDA NLP基础 25% |################### |################### | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 各种OUTPUT ※一般来说,把数据处理成countable的 形式之后做EDA。 NLP基础 28% |######################## | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 各种OUTPUT 为什么要做EDA呢? EDA EDA 〇〇〇〇〇〇〇〇〇〇〇〇 第i条 条文种类「保密范围」 无监督学习 监督学习 预测合同的风险① 79% |################################################################################ | section3 ROUGE RIBES word2vec TF-IDF 机器翻译的手法 神经网络 向量化的典型手法 $ from0 码力 | 36 页 | 3.95 MB | 1 年前3
共 99 条
- 1
- 2
- 3
- 4
- 5
- 6
- 10