刘硕的技术查阅手册

基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, 文本生成等. 同时又可以构建预训练语言模型，用于不同任务的迁移学习.

文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标.

RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出.

当前市场上对程序员的基本需求之一就是能够使用服务器进行开发。在绝大多数公司中，我们都会使用Centos系统（Linux发行版之一）进行开发，因为它是被验证的最稳定的企业级开发服务器。下面我们将学习一些简单的命令，来开启我们Centos学习之旅。

ownCloud 是一个非常优秀的私人网络云盘服务器。不过如果从头自己配置，十分繁琐，且因需安装大量的依赖，会把服务器环境搞得非常混乱。ownCloud 官方提供了 docker 镜像，一条命令实现安装部署，十分方便。

supervisord 的首要目的是创建和管理配置文件中指定的进程。它通过创建子进程实现这个功能。每一个由 supervisor 创建的进程在其整个生命周期中都由 supervisord（supervisord 是其创建的所有进程的父进程）管理。如果某个子进程意外终止，supervisor 会通过 SIGCHLD 信号得知其死讯，然后它会执行适当的操作。

写 Django 项目时，因有一个请求涉及到很大的计算量，需要使用多进程来提高效率。这完全就是普通的进程池写法，很基本，不太可能会出错。可是一访问页面上这个接口，却硬生生报了个错。问题的原因很可能是子进程中会使用数据库，和主进程的数据库连接发生了冲突，从而导致连接中断。解决办法是，在启动子进程之前，关闭主进程的数据库连接。这样每个子进程会重新连接数据库，从而避免了冲突。

Hexo 的默认主题毕竟不是很好看。我看好 Hexo 很重要的一点是它支持自定义的主题。Hexo 官网 就有很多很好看的主题。Hexo 主题我也用过几个，终有些不满意处而放弃，直到我发现了 Next 主题。这个主题很简洁，却又很自由，能配置出很多花样。

这里的配置是 Hexo 全局的配置，位于 Hexo 根目录的 _config.yml 文件中。

这个神经网络范式是根据人民邮电出版社出版的哈里克·拉希德的著作《Python 神经网络编程》给的代码照抄过来的。原著代码在 GitHub 上开源，更多功能和数据可以去那里找。 神经网络是一个十分神奇的机器学习方法，它通过再简单不过的原理（线性关系）就可以实现各种神奇的学习操作，尽显简洁之美。