知识图谱：Machine Learning Roadmap
笔者感觉 ML 这块知识点太多，互联网上多数信息都难以结构化，尤其是一个方向的知识火起来后，每个人都写一篇博客，看的眼花缭乱。。因此笔者简单总结了一下机器学习领域的知识图谱，方便知识体系构建和回顾。
如有错误，欢迎读者勘误斧正。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 SSRVodka's blog！
wechat- alipay
相关推荐
2025-07-20
Transformer 论文精读 + 代码实现
笔记温习一下经典的 Transformer 架构的论文，结合代码实现和解读。 前置知识 循环神经网络、卷积神经网络的演化过程、结构、代表性的模型； 传统的注意力机制（attention）已经在很多场合下成为序列/转录模型的不可分割的一部分，因为无论两个词语语义的依赖在输入/输出序列中距离多远，都能建模依赖关系。但是这种传统的注意力机制仍然没有用在 recurrent 网络中。 自注意力机制（self-attention）是通过关联单个序列中的的不同位置，来计算这个序列的 hidden representation。自注意力机制在此前被成功应用与阅读理解、抽象总结等任务中； 另外有工作表明，基于循环注意力机制（recurrent attention）的端到端记忆网络（end-to-end memory networks），它并没有采用传统 RNN 的序列对齐循环（sequence-aligned recurrence）的计算方法，仍然能在简单语言问答、语言建模等任务上取得比较好的效果； 循环注意力机制：一种将注意力机制与循环神经网络（RNN）相结合的技术，常见的有...
2025-02-18
如何理解 PyTorch 函数的 dim 参数
之前很长的一段时间内，我都不太清楚如何感性地理解 PyTorch 中的 dim 参数。最近琢磨到了一个还算比较好理解的方法，故简单记录在这里。 dim 在 PyTorch 的很多函数中都可以指定，例如 sum / mode / unsqueeze / topk 等等，主要是告诉函数应该针对张量的哪个特定维度操作。 这在输入张量维度很高的时候就不那么直观了。虽说不理解问题不大，最多手写循环就能达到目的。但如果我们想尽量避免使用 python 的显式循环，或者还想要利用广播机制来更快的完成计算任务，就不得不总结一下了。 聚合类函数（减小维度数的运算，reduction operations），例如 sum / mean / max / min / mode / topk 等等； dim 通常的语义是 “沿这个维度进行消除”，如果有指定 keepdim=True，则这个维度 size 压缩为 1； dim 的值就对应张量 shape 的索引； 被操作的每个元素的 shape 就是 原张量的 shape 在 dim 索引之后组成的新的 shape，即...
2024-07-20
Algorithms in AI
Chapter 0. Intro0.1 The definition of Artificial Intelligence Think rationally -> Think like people -> Act like people -> Act rationally. The system maximumly achieving predefined goals. -> Maximize the expected utility. (最大化预期效用) Brains and AI Why not reverse engineering the brains? -> Not as modular as software. But there are the lessons learned from the brain (interleave, 交织在一起): Memory (data): Judge situations depending on the previous experiences...
2025-08-03
CCF 2025 会议笔记
主论坛主论坛开幕主要介绍了开源社区的背景现状以及院士自己的工作，我选个比较感兴趣的记录一下。 郑纬民院士介绍的它们团队的成果 Mooncake 和 KTransformer； 1. Mooncake这个工作的核心是解决大规模语言模型（LLM）在线服务（尤其是长上下文场景）中的效率、成本和延迟问题，特别是围绕 KV Cache 的管理优化展开。简言之：用更多的存储资源（CPU内存、SSD、网络带宽）来换取更少的昂贵计算资源（GPU）消耗，从而显著提升服务吞吐量和用户体验。 郑院士向我们介绍 kimi AI 服务器其实更新迭代过 5 次，但每次都会崩溃，主要原因是大量用户在短时间内问了很复杂的问题，或者上传了很长的文档来分析，导致的显存紧缺。LLM 在回答你的问题之前，需要先“理解”你输入的所有内容（Prefill 阶段），然后才能开始一个字一个字地生成回答（Decoding 阶段）。这个过程中产生了一个关键的东西：KV Cache (Key-Value Cache)。 [!NOTE] KV Cache 是 LLM（尤其是 Transformer...
2025-08-28
Survey: 有哪些好用的用于网络搜索的 MCP Servers?
网络搜索的 MCP servers 由两个部分组成：一个是网页搜索服务，另一个是包装成符合 MCP 规范的 MCP server（供 Agent 使用）。 考虑到现在 MCP servers 相当繁多，而且大多生命短暂（无人维护），因此想让 AI 用上网络搜索的 MCP 工具，首先考虑的是有公司维护的、性价比高的产品，一般搜索质量会好一点，然后再考虑开发者个人搭建的那些 MCP servers（一般它们就是将一个或多个网页搜索服务包装起来，当然也有很多是“巧用”传统搜索引擎的）。 TL; DR下面的表格先对目前 survey 到的进行总结： 表 I: 公司维护的网页搜索产品及配套 MCP Server 名称 主要功能 免费额度/限制 搜索服务 私有部署支持 MCP Server 使用体验 Brave Search 网页搜索、新闻聚合、视频/图像聚合 1 请求/秒，2000 请求/月，free plan...
2025-03-02
具身智能论文速读3篇 2025年3月
HumanUP: Learning Getting-Up Policies for Real-World Humanoid Robots主旨：如何通过强化学习（RL）和仿真到现实（Sim-to-Real）的方法，为人形机器人开发能够从不同跌倒姿势和不同地形中自主起身的控制策略； 背景：人形机器人在实际应用中容易跌倒，而手动设计控制器来处理各种跌倒姿势和复杂地形非常困难。现有的控制器通常只能处理有限的跌倒情况，缺乏泛化能力。因此，论文提出了一种基于学习的框架，通过仿真训练生成能够在真实世界中应对多种跌倒姿势和地形的起身策略。目前的挑战有： 非周期性行为：起身任务不像行走那样有固定的周期性接触模式，接触序列需要动态调整。 丰富的接触：起身过程中，机器人不仅依靠脚部接触地面，还可能利用身体其他部位（如手臂、躯干）来施加力。 稀疏奖励：起身任务的奖励信号较为稀疏，机器人需要在长时间内做出正确的动作才能获得奖励。 论文的解决方案 HumanUP： 第一阶段（Stage...
评论
