tinsir888s hjemmeside

智能计算系统第六章 深度学习处理器原理 深度学习处理器概述 神经网络越来越大，越来越深 为什么需要深度学期处理器 深度学习应用广泛 图像识别、语言处理、自然语言处理、博弈游戏等领域 已经渗透到云服务器和智能手机的方方面面 通用CPU/GPU处理在人工神经网络效率低下 谷歌大脑：1.6万个CPU核跑了数天完成猫脸识别训练 AlphaGo：和李世石下棋用了1202个CPU和200个GPU 专门的深度学习处理器 图形处理 GPU 信号处理 DSP 智能处理 ？ 未来每台计算机可能都需要一个专门的深度学习处理器 云服务器到智能手机 应用面将超过GPU：每年数十亿片 发展历史 第一次热潮 1951，SNARC 1960，Mark-I 第二次热潮 1989，Intel ETANN 1990，CNAPS 1993，MANTRAI 1997，预言神 1990s的神经网络处理器 结构简单 规模小 第三次热潮 2006至今 2008 英伟达GPU …… 深度学习处理器发展的三个因素 技术、体系结构、应用 深度学习处理器设计思路 介于专用芯片和通用芯片之间。 ...

智能计算系统 第五章 编程框架机理 5.1 Tensorflow 设计原则 高性能、易开发、可移植 高性能 Tensorflow 中的算子，设计过程中就已经针对底层硬件架构进行了充分的优化 针对生成的计算图，Tensorflow 又提供了一系列的优化操作，以提升计算图的运行效率 Tensorflow 调度器可以根据网络结构的特点，并发运行没有数据依赖的节点 易开发 针对现有的多种深度学习算法，提取了大量的共性运算，封装成算子 用户使用tensorflow进行算法开发时，能够直接调用这些算子，很方便的实现算法 可移植 可工作与各种类型的异构系统 对每个算子需提供在不同设备上的不同底层实现 用户程序可以在不同的硬件平台上执行 5.2 Tensorflow 计算图机制 计算图的自动求导 深度学习中通常采用梯度下降更新模型参数 对于复杂模型，手动计算梯度困难 大部分深度学习框架均需提供自动梯度计算功能 用户只需要描述前向计算的过程，由编程框架自动推导反向计算图，完成求导 常见求导方法 手动求导法 手动用链式法则求出梯度公式，代入数值得到梯度值 缺点 对大规模 ...

智能计算系统 第四章 编程框架使用 以图像风格迁移为例 第三章已经介绍了上层的算法 第四章讲如何实现算法，怎么用编程框架 4.1 深度学习编程框架的概念 为什么需要编程框架？ 深度学习算法越来越流行。而深度学习算法理论比较复杂、代码实现工作量大。有必要将算法的常用操作封装成组件，提高深度学习算法开发效率（避免重复造轮子）。 深度学习算法具有多层结构，每层运算由一些基本操作构成 这些基本操作中存在大量共性运算，如卷积、池化、激活等。 面向这些封装起来的操作，硬件程序员可以基于硬件特征，有针对性地进行充分优化，使其能充分发挥硬件的性能 编程框架的定义 将深度学习算法中的基本操作封装成一系列组件，这一系列深度学习组件，即构成一套深度学习框架。 将VGGNet19作为驱动范例。 tensorflow是目前使用人数最多，影响最大的编程框架。 4.2 Tensorflow 概述 2015年，谷歌团队开源 其变种可以工作于各种异构系统，包括手机、平板电脑等移动设备，数百台机器和数千种计算设备的大规模分布式系统 支持多种高级语言作为输入：Python、C、C++、Java、Go 灵 ...

智能计算系统 第三章 深度学习 人获得的输入80%以上是视觉输入 剩下的听觉输入属于序列化的输入信息 3.1 适合图像处理的卷积神经网络 计算机视觉 输入图像大小32*32，输入数据量32*32*3=3072。 隐层神经元100个，第一层权重为3072*100=307200 实际场景中往往需要更大的输入，权重数量级大于10^9，导致过拟合 神经网络可以有效减少权重数量 CNN中，用局部连接取代全连接，减少权重数量 CNN中，若干输出层神经元可以共用一组权重，进一步减少权重数量。 例子VGG16 卷积层 conv 池化层 max pool 全连接层 FC，分类主要靠全连接层 Softmax 卷积层 检测复杂边缘 将权重作为参数，在训练中学习 局部连接，权重共享 卷积运算 y(n)=Σi=−∞∞x(i)h(n−i)=x(n)∗h(n)y(n)=\Sigma_{i=-\infty}^\infty x(i)h(n-i)=x(n)*h(n)y(n)=Σi=−∞∞​x(i)h(n−i)=x(n)∗h(n) 多输入特征图单输出特征图卷积运算 不同的过滤器可检测不同特征 卷 ...

智能计算系统 第二章 神经网络基础 2.1 从机器学习到神经网络（上） 包含关系 深度学习⊂\subset⊂神经网络⊂\subset⊂机器学习⊂\subset⊂人工智能 机器学习 机器学习是对能通过经验自动改进计算机算法的研究 机器学习是用数据或以往的经验，以此提升计算机的能力 典型的机器学习过程 graph LR 训练数据-->机器学习方法 机器学习方法-->模型函数 新数据-->模型函数 模型函数-->预测值 符号说明 输入数据：xxx 真实值：yyy 计算值：y^\hat{y}y^​ 模型函数：H(x)H(x)H(x) 激活函数：G(x)G(x)G(x) 损失函数：L(x)L(x)L(x) 标量：a,b,ca,b,ca,b,c 向量：a,b,c\textbf{a,b,c}a,b,c 矩阵：A,B,C\textbf{A,B,C}A,B,C 2.2 从机器学习到神经网络（下） 线性回归 一个点可使用一条直线来拟合 Hw(x)=w0+wxH_w(x)=w_0+wxHw​(x)=w0​+wx 多变量线性回归模型 Hw(x)=Σi=0n ...

智能计算系统 第一章 整个系统的重要性 谷歌的AI领导人是做系统的 从系统的角度理解人工智能 什么是智能计算系统？ 智能计算系统是智能的物质载体。现阶段的智能计算系统通常是集成CPU和智能芯片的异构系统，软件上通常包括一套面向开发者的智能计算编程环境（包括编程框架和编程语言） 智能计算系统的形态 超级计算机（商业分析、药物研制）、数据中心（广告推荐、自动翻译）、智能手机（语音识别、图像分析）、嵌入式设备（机器人、消费类电子） 应用驱动、全栈贯通 智能算法 编程语言 系统软件 体系结构 课程提纲 概述 神经网络 深度学习 编程框架使用 编程框架机理 深度学习处理器原理 深度学习处理器架构 智能编程语言 实验 人工智能的三个流派 行为主义：基于控制论 符号主义：基于符号逻辑的方法 连接主义（最热门）：基于大脑中神经元细胞连接的计算模型 深度学习的局限性 泛化能力有限 缺乏推理能力 缺乏可解释性 鲁棒性差 异构智能计算系统 主要原因 通用 CPU 计算能力增长近乎停滞，而智能计算系统能力需求在不断以指数增长，二者行成了剪刀差。 异构系统在提高性能 ...

12-1 Wochenende die Übernachtung 住宿 das Hotel-s 酒店 das Einzilzimmer- 单人间 das Doppelzimmer- 双人间 die Jugendherberge-n 青年旅社（本土词） das Hostel-s 青年旅舍（外来词） die Pension-en 民宿 die Halbpension-en 包一顿正餐的民宿服务 das Verkehrsmittel 交通工具 der Flughafen-: 机场 das Flugzeug-e 飞机 der Flug-:e 飞行n fliegen 飞行v der Abflug-:e 起飞n abfliegen 起飞 可分v die Ankunft-:e 抵达n ankommen 抵达v die Bahn-en 铁路 die Durchsage-n 广播 der Bus-se 巴士 einsteigen 上车 aussteigen 下车 das Fahrrad-:er 自行车 das Auto-s 汽车 die Reise 旅行 das Reisebüro 旅行社 de ...

11-1 der Körper word: body der Kopf/ die Köpfe head das Haar/ die Haare hair das Gesicht/ die Gesichte face die Nase/ die Nasen nose der Mund/die Münder mouse das Auge/ die Augen eye das Ohr/die Ohren ear der Zahn/ die Zähne tooth der Arm/ die Arme arm der Finger/ die finger die Hand/ die Hände hand die Schulter/ die Schultern shoulder der Hals/ die Hälse neck der Rücken/ die Rücken back das Herz/ die Herzen heart die Brust/ die Brüste breast der Bauch/ die Bäuche stomach der Po Ass das Bein/ d ...

10-1 Berufe der Erzeiher- / die Erzieherin-nen 保育员 der Buchhalter-/ die Buchhalterin-nen 会计 der Elektriker-/ die Elektrikerin-nen 电工 der Taxifahrer-/ die Taxifahrerin-nen 出租车司机 der Infomatiker-/ die Infomatikerin-nen 电脑工程师 der Raumpfleger-/ die Raumpflegerin-nen 清洁工 der Verkäufer-/ die Verkäuferin-nen 售货员 der Kraftfahrzeugmechaniker-/die Kraftfahrzeugmechanikerin-nen 汽车修理工 der Ingenieur-e/ die Ingenieurin-nen 工程师 der Sekretär-e/ die Sekretärin-nen 秘书 der Koch-:e/ die Köchin-nen 厨师 der Hotelfach ...

汇编语言与逆向技术基础 十、软件保护技术 知识点 序列号保护 警告窗口 时间限制 菜单功能限制 KeyFile 保护 序列号保护 共享软件（shareware） 使用时间和功能上的限制 注册用户 获得序列号 输入注册信息和序列号，软件取消各种限制 序列号的验证 验证用户名和序列号之间的 数学映射关系 映射关系是由软件公司设计 映射关系越复杂，越不容易被 破解 警告窗口 时间限制 菜单功能限制 KeyFile 保护