LLM全栈优质资源汇总
非常欢迎大家也参与进来，收集更多优质大模型相关资源。
- 🐼 LLM算法
- 🐘 LLM训练
- 🔥 LLM推理
- 🌴 LLM数据工程（Data Engineering）
- 📡 LLM压缩
- 🐰 LLM测评
- 🐘 AI基础知识
- 📡 AI基础设施
- 🐘 AI编译器
- 🐰 AI框架
- 📡 LLM应用开发
- 🐘 LLMOps
- 📡 LLM实践
- 📡微信公众号文章集锦
原理：
- Transformer模型详解（图解最完整版
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- Transformer的结构是什么样的？各个子模块各有什么作用？
- 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
- Transformer 一起动手编码学原理
- 为什么transformer(Bert)的多头注意力要对每一个head进行降维？
- Decoder-Only Transformers: The Workhorse of Generative LLMs
源码：
- OpenAI ChatGPT（一）：Tensorflow实现Transformer
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- GPT （一）transformer原理和代码详解
- Transformer源码详解（Pytorch版本）
- 搞懂Transformer结构，看这篇PyTorch实现就够了
-
GPT2 源码解析：https://zhuanlan.zhihu.com/p/630970209
-
nanoGPT：https://github.com/karpathy/nanoGPT/blob/master/model.py
-
7.3 GPT2模型深度解析：http://121.199.45.168:13013/7_3.html
-
GPT（三）GPT2原理和代码详解: https://zhuanlan.zhihu.com/p/637782385
-
GPT2参数量剖析: https://zhuanlan.zhihu.com/p/640501114
- Mixtral-8x7B MoE大模型微调实践，超越Llama2-65B
- 大模型分布式训练并行技术（八）-MOE并行
- MoE架构模型爆发或将带飞国产AI芯片
- 大模型的模型融合方法概述
- 混合专家模型 (MoE) 详解
- 群魔乱舞：MoE大模型详解
- 大模型LLM之混合专家模型MoE（上-基础篇）
- 大模型LLM之混合专家模型MoE（下-实现篇）
- https://github.com/NExT-GPT/NExT-GPT
- https://next-gpt.github.io/
- Introduction to NExT-GPT: Any-to-Any Multimodal Large Language Model
A Survey on Multimodal Large Language Models：https://arxiv.org/pdf/2306.13549 Efficient-Multimodal-LLMs-Survey：https://github.com/lijiannuist/Efficient-Multimodal-LLMs-Survey
-
Transformer Math 101 - 如何计算显存消耗?
-
Megatron-LM 第三篇Paper总结——Sequence Parallelism & Selective Checkpointing
-
学习率(warmup, decay)：
- MOSS-RLHF
- 模型调优（RLHF/DPO/ORPO）- 终极指南
- DPO: Direct Preference Optimization 论文解读及代码实践
- 强化学习入门：基本思想和经典算法
- 人人都能看懂的PPO原理与源码解读
- 关于Instruct GPT复现的一些细节与想法
- 【RLHF】RL 究竟是如何与 LLM 做结合的？
- 【RLHF】想训练ChatGPT？得先弄明白Reward Model怎么训（附源码）
- Reinforcement Learning from Human Feedback 全家桶（RL 侧）
paper:
- 使用HuggingFace的Accelerate库加载和运行超大模型 : device_map、no_split_module_classes、 offload_folder、 offload_state_dict
- 借助 PyTorch，Accelerate 如何运行超大模型
- 使用 DeepSpeed 和 Accelerate 进行超快 BLOOM 模型推理
- LLM七种推理服务框架总结
- LLM投机采样（Speculative Sampling）为何能加速模型推理
- 大模型推理妙招—投机采样（Speculative Decoding）
- https://github.com/flexflow/FlexFlow/tree/inference
- TensorRT-LLM(3)--架构
- NLP（十八）：LLM 的推理优化技术纵览：https://zhuanlan.zhihu.com/p/642412124
- 揭秘NVIDIA大模型推理框架：TensorRT-LLM：https://zhuanlan.zhihu.com/p/680808866
- 如何生成文本: 通过 Transformers 用不同的解码方法生成文本 | How to generate text: using different decoding methods for language generation with Transformers
- DeepSeek-V3 / R1 推理系统概览
KV Cache：
解码优化：
- vLLM（六）源码解读下 @HelloWorld
- 猛猿：图解大模型计算加速系列：vLLM源码解析1，整体架构
- LLM推理2：vLLM源码学习 @ akaihaoshuai
- 大模型推理框架 vLLM 源码解析（一）：框架概览
- Awesome Model Quantization
- Efficient-LLMs-Survey
- Awesome LLM Compression
- 模型转换、模型压缩、模型加速工具汇总
- AI 框架部署方案之模型转换
- Pytorch 模型转 TensorRT (torch2trt 教程)
- CLiB中文大模型能力评测榜单
- huggingface Open LLM Leaderboard
- HELM：https://github.com/stanford-crfm/helm
- HELM：https://crfm.stanford.edu/helm/latest/
- lm-evaluation-harness：https://github.com/EleutherAI/lm-evaluation-harness/
- CLEVA：http://www.lavicleva.com/#/homepage/overview
- CLEVA：https://github.com/LaVi-Lab/CLEVA/blob/main/README_zh-CN.md
- 做数据关键步骤：怎么写好prompt？
- 从1000+模板中总结出的10大提示工程方法助你成为提示词大师！
- 一文搞懂提示工程的原理及前世今生
- Effective Prompt: 编写高质量Prompt的14个有效方法
- 提示工程和提示构造技巧
- 一文带你了解提示攻击！
- 通向AGI之路：大型语言模型（LLM）技术精要
- 大语言模型的涌现能力：现象与解释
- NLP（十八）：LLM 的推理优化技术纵览
- 并行计算3：并行计算模型
- 大模型“幻觉”，看这一篇就够了 | 哈工大华为出品
- 深入理解语言模型的困惑度(perplexity)
safetensors：
- bin和safetensors区别是什么？
- Safetensors：保存模型权重的新格式
- github: safetensors
- huggingface: safetensors
- Safetensors: a simple, safe and faster way to store and distribute tensors.
- https://huggingface.co/docs/safetensors/index
- https://github.com/huggingface/safetensors/tree/v0.3.3
- 手把手教你：LLama2原始权重转HF模型
- PyTorch 源码解读系列 @ OpenMMLab 团队
- [源码解析] PyTorch 分布式 @ 罗西的思考
- PyTorch 分布式(18) --- 使用 RPC 的分布式流水线并行 @ 罗西的思考
- 【Pytorch】model.train() 和 model.eval() 原理与用法
- Megatron-LM 近期的改动
- 深入理解 Megatron-LM（1）基础知识 @ 简枫
- 深入理解 Megatron-LM（2）原理介绍
- [源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础 @ 罗西的思考
- [源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
- [细读经典]Megatron论文和代码详细分析(1) @迷途小书僮
- [细读经典]Megatron论文和代码详细分析(2)
- 业界AI加速芯片浅析（一）百度昆仑芯
- NVIDIA CUDA-X AI：https://www.nvidia.cn/technologies/cuda-x/
- Intel，Nvidia，AMD三大巨头火拼GPU与CPU
- 处理器与AI芯片-Google-TPU：https://zhuanlan.zhihu.com/p/646793355
- 一文看懂国产AI芯片玩家
- 深度 | 国产AI芯片，玩家几何
- 动手学大模型应用开发
- langchain java
- 大模型主流应用RAG的介绍——从架构到技术细节
- 基于检索的大语言模型和应用（陈丹琦）
- 大模型bad case修复方案思考
- 《综述：全新大语言模型驱动的Agent》——4.5万字详细解读复旦NLP和米哈游最新Agent Survey
- MLOps Landscape in 2023: Top Tools and Platforms
- What Constitutes A Large Language Model Application? ：LLM Functionality Landscape
- AI System @吃果冻不吐果冻皮
- 大语言模型原理与工程 @杨青
- 大语言模型从理论到实践 @张奇 ：https://intro-llm.github.io/
- 动手学大模型
- minGPT @karpathy
- llm.c @karpathy: LLM training in simple, raw C/CUDA
- LLM101n
- llama2.c: Inference Llama 2 in one file of pure C
- nanoGPT
- Baby-Llama2-Chinese
- 从0到1构建一个MiniLLM
- gpt-fast 、blog
- CSE 234: Data Systems for Machine Learning
- DSC 291: Machine Learning Systems
- Awesome-Chinese-LLM
- Awesome-LLM-Survey
- Large Language Model Course
- Awesome-Quantization-Papers
- Awesome Model Quantization (GitHub)
- Awesome Transformer Attention (GitHub)
- 语言模型数据选择综述
- Awesome Knowledge Distillation of LLM Papers
- Awasome-Pruning @ghimiredhikura
- Awesome-Pruning @he-y
- awesome-pruning @hrcheng1066
- Awesome-LLM-Inference