动手强化学习 第五章 近似逼近方法
参数化值函数近似 针对之前的模型 都是基于创建一个查询表，再表中维护状态值函数或状态-动作值函数。 当处理大规模的 MDP 时 状态/状态-动作空间非常大 连续的状态或动作空间 维护起来代价太大 处理大规模 MDP 的解决方法 对状态/动作进行离散化或粪桶 构建参数化的值函数估计 对状态/动作进行离散化 例如：在一个二维平面空间中，使用网格对状态空间进行切分，从而转化成离散值 对于一个大型的 MDP，可以对状态值进一步分桶以进行采样聚合 优点 操作简洁直观 高效 在处理许多问题时有较好的效果 缺点 过于简单表示价值函数 V 可能为每个离散区间假设一个常数值 维度灾难 参数化价值函数 参数化值函数近似 构建参数化（可学习的）函数来近似值函数 Vθ(s)≃Vπ(s)V_\theta(s)\simeq V^\pi(s)Vθ(s)≃Vπ(s) Qθ(s,a)≃Qπ(s,a)Q_\theta(s,a)\simeq Q^\pi(s,a)Qθ(s,a)≃Qπ(s,a) θ 时近似函数的参数，可通过 RL 进行更新 参数化的方法将现有可见的状态泛化到没有见过的 ...
德语学习 A2 Kapitel 22 Alltag und Medien
22-1 Medien 媒体 das Radio-s 收音机 das Buch-"er 书 die Sendung-en 节目 anschalten 打开（电器） ausschalten 关闭（电器） hören 听 die Zeitung-en 报纸 das Telefon-e 电话机 telefonieren 打电话 mit + Dativ Ich telefonieren mit dir. anrufen 致电 + Akkusativ Ich rufe dich später noch mal an. Ruf mich bitte zurück. 请给我回电。 Es war immer besetzt. 总是占线。 der Anrufbeantworter- 电话答录机 der MP3-Play MP3 播放器 herunterladen 下载 可分v hochladen 上传 可分v lade - lädst - lädt - laden - ladet - laden - haben (herunter/hoch)geladen abschicken ...
留学申请就是大撒币
专门开一篇来记录一下留学准备留学到学校 Zulassung 下来的花费 i.e. 算总账 （外币统统换算为人民币，以其为单位） 语言考试 2021 年暑假的雅思考试（口语考试迟到，直接白给）：2170 2022 年初隔离结束后的雅思考试：2170 （待更新……说不定之后考 TestDaf 还要花钱） 留学咨询 半 DIY，请人弄文书+答疑等等等等，9000 申请费用 瑞典申请系统，900 瑞典克朗：约 615 奥胡斯大学申请费，750 丹麦克朗：约 740 丹麦科技大学申请费，750 丹麦克朗：约 746 哥本哈根大学申请费，750 丹麦克朗：约 746 （待更新……） 学信网成绩单认证 aka CSSD verified transcript，用于芬兰的学校申请：300 用于德、奥国家的 APS 用于 APS 公证 高中毕业证中英双语翻译公证件：255 大学录取花名册中英双语翻译公证件：279 🇩🇪 APS 面谈费用 邮寄 APS 面谈所需材料快递费：15 APS 一般国内申请人程序费用：2500 12 月 7 日至 12 月 23 日在北京的住宿开销：3264 ...
德语学习 A2 Kapitel 21 Arbeitssuche
21-1 Arbeitssuche 寻找工作 关系从句 aka 定语从句 die Agentur-en 代理处，办事处 die Webseite-n 网页 die Stellenanzeige-n 招聘启事 das Abschlusszeugnis-se 毕业证书 die Reinigungsfirma-Reinigungsfirmen 保洁公司 der Sommermonat-e 夏季月份 6、7、8 月 der Wochenenddienst-e 周末班制 der Nachtdienst-e 夜晚，晚班 sich bei + Dativ + melden 联系…… der Wald-"er 森林 das Serviceteam-s 服务团队 der Empfang-"e 前台 der Nachtportier-e 夜间守卫 die Aushilfe-n 临时工 die Bewerbung-en 求职，申请 fest 固定的 adj die Unterlage-n 书面材料 zu + Dativ gehören 属于……一部分 das Passfoto-s 护照 ...
德语学习 A2 Kapitel 20 Komm doch mit!
20-1 Aktivitäten (1) 业余活动 das Schachbrett-er 棋盘 das Schach-/ 国际象棋 treffen 遇见，碰头 du triffst, er/sie/es trifft jemanden 某人（第四格） kleiner 没有人（代） sich setzen 将自己置于…… ab und zu = manchmal 偶尔 der Schachclub-s 象棋俱乐部 das Turnier-e 比赛，竞赛 das Tischtennis-/ 乒乓球 einige 一些人（代） der Freundeskreis-e 朋友圈 viele 许多人（代） die Kneipe-n 小酒馆 niemanden 没有人（第四格） 20-2 Aktivitäten (2) 业余活动 der Spielplatz-"e 游乐场 die Bank-"e 长凳 die Bank-en 银行 … + Dativ + zuschauen 仔细看，注视 sich unterhalten 聊天，闲聊 v der/die Bekannte-n ...
德语学习 A2 Kapitel 19 Das finde ich schön
19-1 Das finde ich… 我觉得 Aussehen 外表 aussehen 看起来 可分v Die Person ist … 这个人是…… Die Person sieht … aus 这个人看起来…… sportlich 爱运动的 schlank 苗条的，瘦的 intelligent 聪明的，智慧的 langweilig 无趣的，无聊的 interessant 有趣的 sympathisch 和蔼可亲的 die Frisur-en 发型 modisch 时髦的 schick 时尚的，前卫的 konservativ 保守的，古板的 Alter 年龄 über 超过 in einer Großstadt-"e 大城市 auf dem Land 在郊区 alleinerziehend 单亲的 der Single-s 单身 Er arbeitet als … + 职业名称 他作为……工作 Er arbeitet bei … + 工作单位名称 他在……工作 Er macht eine Ausbildung als … 他正在进行……职业培训 lesen 阅读 Ic ...
德语学习 A2 Kapitel 18 Mobil in der Stadt
本章学习语法：被动态 18-1 Verkehrsmittel einen Platten haben 爆胎 der Helm-e 头盔 einen Helm tragen 戴头盔 eine Monatskarte haben 有月票 die Tankstelle-n 加油站 zur Tankstelle fahren 开车去加油站 die Fahrkarte-n 车票 eine Fahrkarte kaufen 买一张车票 der Führerschein-e 驾照 den Führerschein haben 有驾照 im Parkhaus parken 在车库停车 den Fahrplan lesen 看发车时间表 einen Parkschein ziehen 取一张停车票 an der Haltestelle warten 在车站等 der Bahnsteig-e 站台 zum Bahnsteig gehen 去站台 der Strafzettel- 罚单 einen Strafzettel bekommen 吃罚单 einen/keinen Parkplatz finden ...
德语学习 A2 Kapitel 17 Die neue Wohnung
复习 Kapitel 8，静三动四，虚拟式 17-1 Wohnung suchen ZKB = Zimmer Küche Bad 房间厨房浴室 die Ofenheizung-en 锅炉供暖 NK = Nebenkosten 杂费，附加费 die Chiffre-n 编码 die Zentralheizung-en 中央供暖 der Neubau-ten 新造房屋 die Immobilien Pl 不动产，房产 hässlich 丑陋的 adj sich + Dativ + etwas + Akkusativ + ansehen 仔细看 z. B. Ich sehe mir die Armbanduhr an. 我仔细打量这块手表。 eben 同样地 adv dabei 包括的，在内的 renovieren 装修，装潢 17-2 Einrichtung der Sessel- 单人扶手沙发 das Sofa-s 沙发 der Vorhang-"e 窗帘 das Bett-en 床 der Schreibtisch-e 写字桌 das Bücherregal-e 书架 ...
德语学习 A2 Kapitel 16 Schule und danach
德国教育系统、das 引导的从句、一般将来时 16-1 Schulsystem (1) Schuljahr 学年 Kindergarten/Vorschule 幼儿园/学前班 die Grundschule-n 小学 das Gymnasium 文理中学 die Realschule-n 实科中学 die Hauptschule-n 普通中学 die Gesamtschule-n 综合中学=文里+实科+普通 die Universität-en 综合性大学 die Fachoberschule-n 中专 die Fachhochschule-n 大专 die Berufsschule / die Berufsfachschule 中职 die Berufsoberschule / Fachschule / Fachakademie 高职 16-2 Schulsystem (2) die Schulpflicht-/ 义务教育 mindestens 至少 staatlich 公立的，国家的 adj die Privatschule-n 私立学校 der Staat-en 国家 je ...
奥地利学校申请全过程记录
这一篇是有关 🇦🇹 学校申请的流水账。 奥地利，我的 top priority，也基本上可以说是免学费（每学期只需交六七百欧注册费）。 申请奥地利学校的第一步：APS 审核。我是先通过了德国的 APS，但是德国 APS 证书不能拿去申请奥地利的学校。经过邮件询问审核部得知：在通过德国的 APS 审核，如果想获得奥地利的 APS 审核证书，需要再交 2500 元人民币和一整套申请的材料（就是什么双语成绩单密封件、双语在读证明密封件、花名册翻译公证件啥的）。寄到审核部后申请转 Ö 程序，会直接发奥地利的 APS 证书，无需再次面谈。 ⚠️奥地利的 APS 证书内容和德国的有差别，不能混用！ 如何申请 奥地利没有一个统一的申请平台，具体学校具体讨论。 奥地利的大学很多申请材料需要双认证。所谓双认证，就是你的材料，先经过具有涉外资质的公证处进行翻译并公证，然后再 打算申请的学校 维也纳工业大学 AKA TU Wien (Technische Universität Wien)，是我第一想去的学校（可以这样说，欧陆除了 ETH Zürich、EPFL 和 TU München 之外，俺 ...
