接着上一篇文章，任务目标依然是通过使用Transformer将英语翻译为意大利语，来理解Transformer是如何编写和训练的，同时本文还将通过可视化观察注意力模型的细节。文中将使用Hugging Face的opus_books作为训练集，通过Hugging Face的工具链完成数据集的下载，和将文本转换为词表的工作。

回头看来，Attention Is All You Need这篇文章是所有大模型的根基，从MLP、CNN、RNN发展而来的船新版本特征提取器。这次跟着油管UP Umar Jamil对照论文通过手写transformer来学习这个划时代的算法。Coding a Transformer from scratch on PyTorch, with full explanation, training and inference。本文以翻译任务为例，展示如何使用pytorch手写一个将英语翻译为意大利语的Transformer。