SJTU-XHW's blog

0.1 NumPyNumpy 库是 Python 科学计算的核心。 Numpy Array 是一个存放相同数据类型的数组（类型 numpy.ndarray），可以使用非负元组（Non-negative tuple）来索引。 我们称 Rank 为数组的维数，Shape 表示数组的各个维度的大小，使用整型元组表示。 0.1.1 Array Creation初始化 Numpy Array 的方法如下： 1234567891011121314151617import numpy as npa = np.array([1, 2, 3])print(type(a))print(a.shape)print(a[0], a[1], a[2])# Reference Modificationa[0] = 5print(a)b = np.array( [[1, 2, 3], [4, 5, 6]])print(b.shape)print(len(b))print(b[0, 0], b[1, 0], b[0, 1]) 类似...

最近看到一篇讨论 OpenHarmony Hilog 日志子系统的设计的论文，遂进行了一番阅读。该论文发表在软件学报上。 摘要 分析当今主流日志系统的技术架构和优缺点； 基于 OpenHarmony 操作系统的异构设备互联特性，设计 HiLog 日志系统模型规范； 设计并实现第 1 个面向 OpenHarmony 的日志系统 HiLog, 并贡献到 OpenHarmony 主线； 对 HiLog 日志系统的关键指标进行测试和对比试验； 实现的 HiLog 具有以下特征： 基础性能：日志写入阶段吞吐量分别为 1 500 KB/s 和 700 KB/s，吞吐量相对 Android Log 提升 114%； 日志持久化：压缩率 3.5%，丢包率...

说来惭愧，之前笔者还认为 Makefile 这种工具已经过时，只需要学 CMake 就行。 但最近在写 boot loader 时遇到了一些问题：我既不是在编译可执行文件，也不是在编译库，这样 CMake 就显得比较无力了，因为总是用 add_custom_* 也不是办法，非常臃肿——毕竟不是在管理一个 C/C++ 应用的项目嘛。所以决定再整理一下 Makefile 的写法。 本文充当一个 Makefile cheat sheet 的作用，自己有点遗忘的时候回来查一查。 Define a Target在 Makefile 中定义一个可以构建的 target： 12345<target>: dependency1 dependency2 ... dependency3 command1 command2 ... commandM 这样可以使用 make <target> 来执行它。 注意哦，make 会认为 <target> 是一个需要构建的目标文件名。最终按照 commands 生成的文件会被命名为...

最近一个同学和我讨论一个问题，说到了 XSS 跨站攻击，我恰好对这块不是很熟，于是整理一下相关的资料，希望在编写互联网应用的时候多加注意。 同时，笔者会讨论具体的防护措施，希望大家都不会受到此类攻击的困扰。注意，下文涉及的技术细节仅供学习之用。 OverviewCross Site Scripting (XSS) attacks 是一类代码注入攻击。攻击者利用了互联网应用的安全漏洞将恶意代码（通常是浏览器端脚本）插入正常可信的网站，甚至篡改网页内容。由于其他终端用户的浏览器认为脚本来自可信网站，因此直接执行，最终所有 cookies/session tokens 或其他敏感信息悉数被窃取，从而达到攻击其他终端用户（其他访问者）的目的。 而让这些攻击成为可能的 “安全漏洞”，或者说缺陷，在互联网应用中广泛存在，尤其是对前端接受用户输入的部分不做检查和编码的情况下。 MechanismsXSS 的攻击方式是怎样的？通常它有以下两个步骤： 数据通过不受信任的来源（最常见的是 Web 请求）进入 Web 应用程序； 可能存在恶意代码的数据包含在动态内容中发送给 Web...

这是一篇 2019 年的关于微内核 IPC 性能优化的文章。 摘要微内核有很多引人注目的 features，例如 安全性、容错性、模块化，以及可定制性，这些特性近期在学术界和工业界又再次掀起了一股研究热潮（including seL4, QNX and Google’s Fuchsia OS）。 Google’s Fuchsia’s kernel (called Zircon) 但是 IPC（进程间通信）作为微内核的 阿喀琉斯之踵，仍然是导致微内核 OS 总体性能较低的主要因素之一。同时 IPC 在宏内核中也扮演者很重要的角色，例如 Android Linux，其中的移动端程序会经常和用户态服务通过 IPC 通信。所以优化 IPC 自然是一个很重要的课题。 之前学界对 IPC 在软件层面的优化都绕不开 Kernel，因为 IPC 在这方面的主要开销就是 域切换（domain switch）和消息复制/重映射（message copying/remapping）；在硬件层面的优化方法主要是 给内存和能力打...

Chapter 0. Intro0.1 The definition of Artificial Intelligence Think rationally -> Think like people -> Act like people -> Act rationally. The system maximumly achieving predefined goals. -> Maximize the expected utility. (最大化预期效用) Brains and AI Why not reverse engineering the brains? -> Not as modular as software. But there are the lessons learned from the brain (interleave, 交织在一起): Memory (data): Judge situations depending on the previous experiences...

Chapter 1. Overview进入本章前复习基础的数学知识： Vector Norms（范数）：对于向量 $x=(x_1,x_2,\ldots,x_n)$，$l_p$-norm 定义为： ||x||_p={}^p\sqrt{|x|_1^p+|x|_2^p+\cdots+|x|_n^p}正定性：$||x||_p\ge0,\space||x||_p=0\space\iff x=0$； 非线性性：$||tx||=|t|\space||x||,\space t\in\mathbf{R}$，$||x+y||\le||x||+||y||$（这个不等式并不好证。好证的三角不等式仅限于范数为 2 的特殊情况）； 正交阵 $A^TA=I$，因此一定满秩。此外正交阵列向量（或行）一定是相互正交的向量组，且模长为 1（单位正交向量，否则 $A^TA$ 就不是单位向量了）。 正交阵可以进行对角化 $A=P^{-1}BP$（$B$ 为对角阵，$P$ 为满秩矩阵）。所谓对角化可以感性理解为将这些正交向量组移动到与给定坐标轴的单位向量方向一致的方向上。 正交变换非常好的性质是...

Chapter 1. Basic Concepts 相对误差与绝对误差； 求根问题：$\text{For }f:\mathbf{R}\rightarrow\mathbf{R},\text{ find }x^*\text{ such that }f(x^*)=0$； 假设有估计解 $x_{est}$，但是 $0\lt |f(x_{est})|\ll1$，那么我们也许不知道 $|x_{est}-x_0|$，但是我们一定知道 $|f(x_{est})-f(x_0)|\equiv|f(x_{est})|$； 前向误差：估计解与实际解的差值（就是上面的 $|x_{est}-x_0|$，一般我们不知道）； 后向误差：使得估计值正确所要让 problem statement 改变的 delta（就是上面的 $|f(x_{est})-f(x_0)|\equiv|f(x_{est})|$，一般我们能算出来）； Well-Conditioned（insensitive）：$\text{Small backward error}\Rightarrow\text{Small forward...

Chapter 0. 背景0.1 同步消息和异步消息微服务架构下存在很多服务间相互调用的情况。 我们知道可以通过 OpenFeign 的方式来获取远程服务的响应，但是 OpenFeign 的远程调用是同步的，其优点是同步调用时效强，等待结果返回。但同时会导致： 代码可扩展性差。 性能堪忧。相较于相同项目实现的单体架构，同步的微服务调用方式会多出网络等待时间。 于是我们需要异步调用的方式，这里使用到了发布-订阅者模式。 异步调用的优势是， 模块间进一步解耦（发布者和订阅者间无需知道相互之间的信息）； 可拓展性强（scalable），添加实例无需更改代码； 异步性能有明显提升； 故障隔离（最终一致性保证）； 缓存消息，实现流量削峰填谷； 但是缺点也很明显： 异步实现无法立即得到结果，时效性差，可能导致数据不一致性； 不作额外措施，则不能保证最终一致性（下游业务是否成功）。所以业务安全依赖于 broker 的可靠性； 0.2 Message Queue...

Chapter 0. 基本概念 微服务是一种软件架构风格。专注于单一职责的小型业务为基础，组成复杂大型应用。 需要解决的问题：服务拆分、远程调用（RPC）、服务治理（可用性与调度）、请求路由、身份认证、配置管 理、分布式事务（一致性问题）、异步通信…… 优点和特征：粒度小、单服务开发便捷，团队自治，服务自治，系统耦合性低； 缺点：跨模块开发难度大，运维成本高； 对比而言，单体架构： 优点：架构简单、部署成本低（适用于开发功能相对简单、规模较小的项目）； 缺点：团队协作成本高，系统发布效率低、系统可用性差（软件可靠性差）； 对应框架：Spring Cloud，全球范围广泛使用的微服务框架； 服务注册发现组件：Eureka、Nacos、Consul…… 服务远程调用（RPC）；OpenFeign、Dubbo…… 服务链路监控：Zipkin、Sleuth…… 统一配置管理：Spring Cloud Config、Nacos…… 统一网关路由：Spring Cloud Gateway、Zuul…… 流控、降级、保护：Hystix、Sentinel…… Chapter...