培养方向:数据库方向基础知识积累、分布式数据库研发
培养目标:
- 具备一定的软件工程能力
- 掌握基础数据结构和数据库关键技术
- 掌握分布式原理和应用开发
技能培养:
C / JAVA / GO 任选一门主力学习, Python 选修
- Git、Stencil、Visio 、Docker 等工具的使用
- 软件工程能力(代码规范、协作开发、UML 的使用、代码测试、文档撰写)
- Research、Presentation 能力
时间安排表:
Week | Point | Detail | Project |
---|---|---|---|
1 | 基础知识-引入 | 了解数据库系统的基本概念和架构,包括数据库管理系统(DBMS)的组成部分和功能。 | 课程学习 & 撰写相关文档 |
2 | 基础知识-计算 & 存储 | 学习数据库中的数据存储和管理技术,包括数据的物理存储结构、索引、文件组织和存储管理。了解数据库系统的计算模型和查询处理技术,如查询计划、查询优化和执行策略。 | 课程学习 & 撰写相关文档 |
3 | 基础知识-查询优化 & AI4DB | 学习高级的查询优化技术,包括代价估算、查询重写和物理计划生成。了解AI在数据库系统中的应用,如自动化索引选择、查询优化和参数调优。 | 课程学习 & 撰写相关文档 |
4-5 | CMU-Buffer Pool | 以个人为单位,实现一个buffer pool,并测试其性能及内存占用。并撰写相关文档 | 项目地址 |
6-8 | CMU-B Tree Index | 在buffer pool的基础上,实现一个B 树,需包含单元测试及测试性能。 | 项目地址 |
8-9 | CMU-Execution | 了解 SQL Engine 组件及功能,学习 SQL 解析流程及抽象语法树。学习执行算子,如 Join, Agg, Scan 的不同实现。了解基本的查询优化方法,了解 Volcano 及 Vectorized 执行器架构 | 撰写相关文档 实现数据库的执行器。项目地址 |
10-11 | CMU-Concurrency-Control | 理解事务的概念及产生原因、理解ACID特性 并发控制(乐观、悲观) 数据持久化和故障恢复(日志、检查点、快照) |
撰写相关文档 基于锁实现数据库的并发控制,要求保证事务的ACID特性 项目地址 |
12 | TinySQL Optimizer Part1 | 搜索框架 System R 和 Cascades | 撰写相关文档, 实现项目 Project 4: TinySQL Optimizer |
13 | TinySQL Optimizer Part2 | 代价估算以及统计信息以及 Join Reorder | 撰写相关文档, 实现项目 Project 4: TinySQL Optimizer |
14 | Data Mining | 掌握机器学习的经典算法和数据挖掘的基本流程。 | 整理算法文档 完成分类和时间序列预测两个项目 项目地址 |
15 | NLP | 掌握NLP基础工具,以及预训练模型的使用方法。 | 整理算法文档 掌握NLP工具包 完成文本分类项目 项目地址 |
16 | CV | 掌握CV常见模型,实现简单的图像分类,了解多模态模型的构建。 | 整理算法文档 完成图像分类项目 项目地址 |
17 | Transformer & LLM 基础 | 学习 Transformer & LLM 基础 | 撰写相关文档 Self-Attention Transformer |
18 | LLM 模型结构 | 学习 LLM 模型结构, 尝试手写小参数模型并训练 | 撰写相关文档, 实现项目 GPT in 60 Lines of NumPy 项目地址 |
19 - 20 | LLM for 数据库参数调优 | LLM Database 项目实践, 掌握 LLM 4 Database 实战能力 | 项目地址 |
21 | TinyKV-Standalone KV | 分布式相关概念、时钟 CAP、BASE 拜占庭问题 Zab Gossip |
实现单机的kv server Project1 StandaloneKV |
22 | TinyKV Raft KV 2A | 实现基础Raft协议 (1)Leader 选举 (2)日志复制 (3)RawNode 接口 |
Project2 RaftKV |
23 - 24 | TinyKV Raft KV 2B | 在 Raft 之上搭建一个容错的 KV 服务器 (1)PeerStorage (2)Raft ready process |
Project2 RaftKV |
25 - 26 | TinyKV Raft KV 2C | 增加 raftlog GC 和 snapshot 的支持 (1)Raft快照实现 (2)raftstore |
Project2 RaftKV |
27 | TinyKV Trasaction | 分布式事务(2PC / 3PC) 基于Percolator实现分布式事务,分析Percolaor的优缺点 |
Project 4 Transactions |
说明:整个学习流程的作业和文档需要在实验室 Github 仓库里面提交,每个 Project 会事先建立好框架,每个同学按照框架进行代码和文档的撰写。并且在代码过程中抽象公共代码库方便后续同学的使用,且需做好 todo-list,方便功能的完善。
-
第一次提交作业的时候请先
fork
当前项目到自己的仓库 -
在自己的仓库里面进行作业的更新
以第一次作业为例,比如你
fork
之后你的代码地址为[email protected]:ehds/training-plan.git
-
克隆仓库到本地:
git clone [email protected]:ehds/training-plan.git
-
进入当前实验文件夹
Week1-Databse-Introduction
cd Week1-Databse-Introduction
-
新建一个自己的文件夹,名字 实验名称,参考 Example
cp -r Example DongShengHe-Week1
完善实验文档 Markdown 文件
-
add 作业内容
git add .
-
commit 修改
git commit -m "message"
(message使用英文填写你所做的修改)如git commit -m “complete week1 experiment
-
push 分支
git push origin master
-
-
提交 PR
在 Gihub 仓库界面新建一个 pull request 到实验室仓库
-
审核与修改
待审核人审核后,根据修改意见进行修改,待通过后即可
大家遇到问题首先合理利用搜索引擎,网络上可能已经存在比较完美的解决方案
在向同学和老师提问的时候,请先描述问题出现的背景和出现问题的状况,这样更加有利于问题的解决。
请参考提问的智慧。