Longlong's Blog

Longlong's Blog

永远二十赶朝暮

https://blog.xlonglong.cn/
https://blog.xlonglong.cn/feed/ (RSS订阅地址)

由Sinusoidal位置编码到RoPE

<p>前言 请打开日间模式进行阅读 本来是想学习RoPE(旋转位置编码),所以回去从头从最开始的三角函数式位置编码开 [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/rope/">由Sinusoidal位置编码到RoPE</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2026/3/2
阅读更多

LoRA小结

<p>前言：PEFT的诞生 &#160;&#160;&#160;&#160; 传统的预训练-下游任务微调的范式，是对 [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/lora/">LoRA小结</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/11/28
阅读更多

GPT3与ChatGPT有什么不同？——RLHF技术小结

<p>1.前言 &#160;&#160;&#160;&#160;在2022年11月30日，ChatGPT横空出世。C [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/instructgpt/">GPT3与ChatGPT有什么不同？——RLHF技术小结</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/11/22
阅读更多

Bert源码解读(HuggingFace Transformers源码)

<p>BertMoedel的架构组成： 在HuggingFace中,对应Bert模型的主要就是BertMoedel这 [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/bert/">Bert源码解读(HuggingFace Transformers源码)</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/10/25
阅读更多

The Annotated Transformer学习笔记(Transformer的pytorch实现)(下)

<p>前言 &#160;&#160;&#160;&#160;上篇已经模型架构的代码都学习了，本章学习一下如何训练。 [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/annotated-transformer_2/">The Annotated Transformer学习笔记(Transformer的pytorch实现)(下)</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/9/26
阅读更多

The Annotated Transformer学习笔记(Transformer的pytorch实现)(上)

<p>前言 本文章为《The Annotated Transformer》的学习笔记。文章名为：带有注释版的Tran [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/annotated_transformer/">The Annotated Transformer学习笔记(Transformer的pytorch实现)(上)</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/9/24
阅读更多

Transformer小结

<p>前言 终于！！前面学了那么多，终于轮到主角登场了：大名鼎鼎的Transformer。理所当然的，就要去读一下原 [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/transformer/">Transformer小结</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/9/18
阅读更多

基于encoder-decoder架构的注意力机制

<p>前言 &#160;&#160;&#160;&#160;本篇文章是读完《Neural Machine Trans [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/attention_for_encoder-decoder/">基于encoder-decoder架构的注意力机制</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/9/11
阅读更多

Seq2Seq模型与encoder-decoder架构(附代码实现一个小小demo)

<p>前言 &#160;&#160;&#160;&#160;学习解码器与编码器架构以及注意力机制是为了后边更好的学习 [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/encoder-decoder/">Seq2Seq模型与encoder-decoder架构(附代码实现一个小小demo)</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/9/9
阅读更多

LSTM小结

<p>LSTM所解决的问题(LSTM解决了RNN的什么缺陷？) &#160;&#160;&#160;&#160;LS [&#8230;]</p> <p>&lt;p&gt;The post <a rel="nofollow" href="https://blog.xlonglong.cn/lstm/">LSTM小结</a> first appeared on <a rel="nofollow" href="https://blog.xlonglong.cn">Longlong&#039;s Blog</a>.&lt;/p&gt;</p>

2025/9/4
阅读更多