动手强化学习 第一章 强化学习简介
授课老师:张伟楠 STJU 强化学习简介 Review:两种机器学习类型 预测型 根据数据预测所需输出(有监督) 根据 P(x)P(x)P(x) 预测 P(y∣x)P(y|x)P(y∣x) 生成数据实例(无监督):P(x,y)P(x,y)P(x,y) 决策型 在动态环境中采取行动(强化学习),此处行动会引起环境中的改变 转变到新的状态 获得即时奖励 随着时间的推移最大化累计奖励 强化学习的定义 通过从交互中学习来实现目标的计算方法 (Learning from the interaction with environment) 智能体(agent)通过观察(observation),决策行动(action)以获得奖励(reward)。 智能体和非智能体的区别:能通过行动改变环境,不仅仅是预测 三个方面: 感知:在某种程度上感知环境的状态 行动:可以采取行动来影响状态或达到目标 目标:随着时间推移最大化累积奖励 强化学习交互过程 在每一步 ttt, 智能体:获得观察 OtO_tOt,获得上一轮到这一轮的奖励 RtR_tRt,执行行动 AtA_tAt ...
感知技术期末复习 第4章 常用物理效应与器件
感知技术期末考前复习 第 4 章 传感器中常用的物理效应与器件 4.1 概述 4.1.2 功能材料类型与特点 制作传感器的材料要求:变换功能大、感应范围广、灵敏度和精度高、稳定性和再现性好、体积小、结构简单、使用寿命长 制作材料:贵金属(用得最多);半导体;功能陶瓷;功能高分子 无机功能材料 金属功能材料 磁功能材料 电功能材料 热功能材料 力功能材料 化学功能材料 非金属功能材料(半导体、玻璃、陶瓷、其它) 磁功能材料 电功能材料 热功能材料 力功能材料 光功能材料 有机功能材料(高分子材料) 电功能材料 光功能材料 力功能材料 化学功能材料 复合功能材料 高分子系复合功能材料 金属系复合功能材料 陶瓷系复合功能材料 4.2 弹性效应和弹性元件 4.2.1 弹性敏感元件的基本特性 输出-输入特性一般可表示为:y=∑i=0∞aixiy=\sum_{i=0}^\infty a_ix^iy=∑i=0∞aixi 弹性元件的特性 刚度:弹性元件受外力作用下变形大小的量度表示。 刚度 k=limΔω→∞(ΔFΔω)=dFdωk=\underset{ ...
感知技术期末复习 第3章 电传感原理与测量方法
感知技术期末考前复习 第 3 章 电阻、电容和电感的传感原理与测量方法 梦回高中物理(bushi) 3.2 电阻传感器与电阻参数的测量(重点⚠️) 3.2.1 电阻传感器原理与电阻测量问题 电阻传感器的基本原理时将被测物理量或化学量变化转换成电阻值的变化,再通过测量阻值变化得到被测信号。 低阻(需要考虑引线电阻和接触电阻)、中阻、高阻、超高阻。 3.2.2 测量电阻时需要考虑的问题和方法 1. 考虑主要问题——自热、引线电阻、非线性 以电阻值变化为特征的敏感器件,检测电路需满足两项基本要求: 电阻变化本事不能提供信号输出必须为敏感电阻提供驱动电压或电流 电流流过电阻会发热,必须考虑电阻自热因素 导体电阻与温度间的关系可表示为: R=R0[1+α1(T−T0)+α2(T−T0)2+...+αn(T−T0)n]R=R_0[1+\alpha_1(T-T_0)+\alpha_2(T-T_0)^2+...+\alpha_n(T-T_0)^n]R=R0[1+α1(T−T0)+α2(T−T0)2+...+αn(T−T0)n] 其中,R0R_0R0 是参考温度 T0T_0 ...
感知技术期末复习 第2章 传感器的性能与评价
感知技术期末考前复习 第 2 章 传感器的性能与评价 2.2 传感器的误差 2.2.1 理想传感器与实用中局限性 理想传感器 输出量仅对输入量敏感 输入量与输出量呈唯一、稳定的关系(最好线性关系) 输出量可实时反应输入量的变化 实际上不可能达到,只能尽可能控制各种不利因素,使传感器性能尽可能接近理想特性 2.2.2 误差及其来源(重点⚠️) 误差的来源可分为两方面 一方面,传感器本身的误差:非线性、滞后、重复性、漂移(原理、结构设计、生成工艺决定) 另一方面,应用过程中引入:电磁干扰、温度波动、冲击震动、电源波动等。 误差的来源可分为五类 介入误差。传感器元件介入被测系统中得到的测量值和真实值之间的误差。所有的传感器都存在此误差。 应用误差。使用者使用不当;测量系统设计缺陷。 特性参数误差。传感器本事的特性参数决定。 动态误差。动态特性导致:所测参数发生变化后,传感器的反应存在滞后。 环境误差。环境参量:温度、冲击、震动、电磁场、化学腐蚀、电源电压震动 2.3 传感器的静态特性 2.3.1 输出与输入的静态函数关系 输入的两种形态:常量或随时间变化缓慢的量 ...
“一生一芯”计划 预学习阶段
“一生一芯”计划 预学习阶段 贯穿计算机专业本科课程(数字逻辑、计算机组成原理、计算机体系结构、操作系统、计算机系统设计)很厉害的项目。 难度较大,希望自己能够坚持下去。 阅读两篇关于如何提问的文章并编写一篇不少于800字的读后感(2022.7.5) 已完成阅读,读后感见 (隐私手动打码)-提问的智慧读后感.pdf。 Linux 系统安装 (PA0) 和基本使用(2022.7.5) 安装 Linux 操作系统 暂时使用虚拟机 VMware 中安装 64 位的 Ubuntu 21.04。 根据 PA0 讲义 安装好这些工具 12345678apt-get install build-essential # build-essential packages, include binary utilities, gcc, make, and so onapt-get install man # on-line reference manualapt-get install gcc-doc # on-line reference ...
Codeforces Round 805 (Div. 3) G Passable Paths
This is a hard version of the problem. The only difference between an easy and a hard version is in the number of queries. Polycarp grew a tree from n vertices. We remind you that a tree of nnn vertices is an undirected connected graph of nnn vertices and n−1n−1n−1 edges that does not contain cycles. He calls a set of vertices passable if there is such a path in the tree that passes through each vertex of this set without passing through any edge twice. The path can visit other vertices (not ...
感知技术期末复习 第1章 绪论
感知技术期末考前复习 第 1 章 绪论 传感器的应用领域:国防、航空、航天、交通运输、能源、电力、机械、石油、化工、轻工、纺织等工业部门和环境保护、生物医学工程等领域、办公设备、家用电器、农业发展、个人消费电子终端产品。 1.2 传感器相关概念 1.2.1 测量系统(重点⚠️) 测量是指以确定对象属性和量值为目的的全部操作。 测量:被测参量和同种性质的标准量进行比较,确定被测量对标准量的倍数。 测试/检测:具有实验性质的测量,测量与实验的综合 测量需要借助专门的设备、仪器等测量工具或测量系统,采用适当的测量方法并通过信号分析处理,才能得到有关的,可显示/输出的信息量值。 测量系统 表征客观事物属性的物理或化学参量 作用是:以客观和实验的方式对客体或事件的特性、品质加以定量或定性的描述。 1.2.2 传感器的定义 将被测量按一定规律转换成可输出信号的期间或装置。 传感器是测量装置 输入量:物理量/化学量/生物量 输出量:某种便于转换、传输、处理、显示的量(电量) 输出量和输入量有确定的对应关系 1.2.3 传感器的分类 检测时是否需要外界能源 无源传感器(无 ...
德语学习 A2 Kapitel 13 Das steht dir gut!
13-1 Kleidungsstück 词汇:衣物 der Pullover- 套头羊毛衫 die Jeans- 牛仔裤 die Armbanduhr-en 手表 der Sportschuh-e 运动鞋 die Socke-n 袜子 die Jogginghose-n 运动裤 die Brille-n 近视眼镜 die Bluse-n 女式衬衫 der Gürtel- 皮带 die Jacke-n 外套 der Rock-:e 半身裙 die Strumpfhose-n 连裤袜 der Ohrring-e 耳环 das Kostüm-e 戏服 das Hemd-en 男士衬衫 der Mantel-: 大衣 die Hose-n 裤子 der Schuh-e 鞋子 der Schutzhelm-e 安全帽 der Stiefel- 靴子 die Krawatte-n 领带 der Anzug-:e 西装 das Kleid-er 连衣裙 die Halskette-n 项链 der Schal-s 围巾 die Winterjacke-n 冬季外套 die Mütze-n 绒线帽 ...
智能计算系统 第八章 智能编程语言
智能计算系统 第八章 智能编程语言 本章内容定位:智能算法的实现 8.1 为什么需要智能编程语言 语义鸿沟、硬件鸿沟、平台鸿沟 语义鸿沟 以卷积运算为例 c++标量计算需要7重循环 python需要写4重循环 tensor类型只需要一行代码 硬件鸿沟 智能计算硬件在控制、存储、计算等方面有独特性 传统编程语言难以有效描述上述硬件的特点 不同层次编程语言和硬件特性带来的性能影响 存储逻辑上一般采用程序员可见的Cache,而不是普通平台上对于程序员透明的 Cache。 计算逻辑上提供了面向智能计算的定制运算单元,精度损失可以忽略 平台鸿沟 功能可移植性:采用特定平台专用语言所编写的程序能够在别的平台上正常运行 矩阵乘法的例子调用了 AVX 的 intrinsic 函数在 ARM 上无法运行 性能可移植性:在特定平台上优化好的程序,在辛的硬件平台上仍然保证有较高的执行效率 理想的 编程语言需要抽取不同硬件平台的共同特性,并在此基础上提取性能关键特征作为语言特性提供给用户 8.2 智能计算系统抽象架构 抽象硬件架构 层次化的智能计算系统抽象硬件架构 每一层都包含存储单元 ...
智能计算系统 第七章 深度学习处理器架构
智能计算系统 第七章 深度学习处理器架构 7.1 单核深度学习处理器 DLP-S 控制模块 运算模块 存储单元 总体架构 从DLP到DLP-S 计算时 多发射队列,支持指令级并行 增加运算器的操作,支持硬件高效执行的操作 低位宽运算器,提高执行能效 稀疏运算,提高计算效率 访存 转换检测缓冲器TLB,降低访存演出 最后一级cache,降低访存延迟 执行流程 IFU 通过 DMA 从 DRAM 中读取程序指令,然后经过 IDU 进行译码后分发给 DMA、VFU 和 MFU DMA 接收到指令后从 DRAM 读取神经元至 NRAM,读取权重至 WRAM VFU 接收到指令后从 NRAM 中读取神经元数据,并对神经元数据进行预处理,然后发送给 MFU MFU 接收到指令后从 VFU 接收经过预处理的神经元数据,从 WRAM 中读取权重数据,完成矩阵运算后将结果发送给 VFU VFU 对输出神经元进行后处理(激活、池化等) VFU 将运算结果写回 NRAM 神经元数据流 DRAM→NRAM→VFU→(MFU→VFU)→NRAM→DRAM 权重数据流 DRAM→W ...