动手学深度学习框架（2）python端如何调用c的代码

　　0 前言
　　朋友们好，欢迎来到深度学习框架系列专题。在上一篇文章中，我抛出了一系列问题，算是本专题的序言了，今天我们将正式开启 paddle 学习之旅，去了解它的实现原理和技术细节。对于本文的选题，我想了许久，最后还是觉得讲讲『python 端如何调用 c++ 的代码』最为合适，阅读深度学习框架源码，不管是 pytorch 还是 tensorflow，这都是绕不开的，也是最基础的。试想：如果一个新手看着 python 端的一行行代码，却不知道它是在哪定义的，函数体里内容是什么，岂不是抓狂~
　　1 什么是 pybind？
　　pybind11 是一个轻量级的只包含头文件的 c++ 库，用于将你的 c++ 代码暴露给 python 调用（反之亦可，但主要还是前者）。pybind11 借鉴了  Boost::Python    库的设计，但使用了更为简洁的实现方式，使用了大量 c++11 的新特性，更易于使用。
　　2 paddle 中 python 端是如何调用 c++ 代码的？
　　关于 pybind 的原理，网上已经有不少文章已经介绍过了，不再赘述，这里主要讲下 paddle 框架中 python 和 c++ 端是如何绑定的。
　　示例 1
　　首先，我们来看一个最基础的，也是最常见的用法。Program 是 paddle 框架中用来描述 神经网络的结构，如果要使用 paddle 分布式训练功能，首先得实例化一个 Program 对象。import paddle.fluid as fluid program = fluid.Program()
　　很明显，Program 是 python 中的一个类，它的定义是在文件 python/paddle/fluid/framework.py 里，代码如下： class Program(object)：     def __init__(self):         self.desc = core.ProgramDesc()     ...
　　由上述代码可知，实例化 Python Program 对象时，实际上调用的是 core 里的 ProgramDesc. 接着，我们先来看看 python/paddle/fluid/core.py 中干了啥： from ctypes import cdll cdll.LoadLibrary(core_avx.so)
　　什么意思呢？paddle c++ 代码编译完之后生成 core_avx.so 文件，而当我们安装完 paddle wheel 包之后，python/paddle/fluid 目录下就会有 core_avx.so. 也就是说，core.py 文件的主要功能就是加载 c++ 端的 so. 那 python 端的 ProgramDesc 类型又是在哪定义的呢？答案是protobuf.cc. void BindProgramDesc(pybind11::module *m) {   pybind11::class_(*m, ＂ProgramDesc＂, ＂＂)       .def(pybind11::init<>())       .def(＂__init__＂,            [](pd::ProgramDesc &self, const pd::ProgramDesc &other) {              new (&self) pd::ProgramDesc(other);            })        //...
　　到这儿，python 端终于能够访问到 c++ 端的类型了，即 pd::ProgramDesc ，其中，namespace pd = paddle::framework.
　　示例 2
　　我们再来看看 executor.py 中的用法。 from . import core g_scope = core.Scope() assert isinstance(scope, core._Scope) var = scope.find_var(_to_name_str(name))
　　这个 Scope() 又是什么呢？pybind.cc 文件中有如下定义： PYBIND11_MODULE(core_avx, m) {       m.def(＂Scope＂,         []() -> Scope * {           auto *s = new Scope();           ScopePool::Instance().Insert(std::unique_ptr(s));           return s;         },         R＂DOC(         Create a new scope.          Returns:             out (core._Scope): the created scope.         )DOC＂,         py::return_value_policy::reference);         //... }
　　PYBIND11_MODULE 这个宏用来告诉 python： import 神马，＂core_avx＂ 是这个 module 的名字，＂m＂ 是一个 py::module 类型的变量，可以理解成代表 module 本身， ＂module::def()＂，也就是 ＂m.def＂，用来定义 python 端的接口函数。
　　上述代码中绑定了 python 端 Scope() 和 c++ 中的函数(lambda 表达式)。进一步发现，调用 python 函数的返回值显然是 python 端的，也就是 _Scope，而它对应的也就是 c++ 端的 Scope 类，绑定代码如下： py::class_(m, ＂_Scope＂, R＂DOC(     Scope is an association of a name to Variable. All variables belong to Scope.      Variables in a parent scope can be retrieved from local scope.      You need to specify a scope to run a Net, i.e., `exe.Run(&scope)`.     One net can run in different scopes and update different variable in the     scope.      You can create var in a scope and get it from the scope.      Examples:         .. code-block:: python            import paddle.fluid as fluid           # create tensor from a scope and set value to it.           param = scope.var(＂Param＂).get_tensor()           param_array = np.full((height, row_numel), 5.0).astype(＂float32＂)           param.set(param_array, place)          )DOC＂)       .def(＂_remove_from_pool＂,            [](Scope &self) { ScopePool::Instance().Remove(&self); })       .def(＂var＂,            [](Scope &self, const std::string &name) -> Variable * {              return self.Var(name);            },            py::arg(＂name＂),            R＂DOC(            Find or create variable named :code:`name` in the current scope.             If the variable named :code:`name` does not exist in the            current scope, the variable would be created. Otherwise,            return the existing variable.             Args:                name (str): the variable name.             Returns:                out (core.Variable): the found or created variable.            )DOC＂,            py::return_value_policy::reference)            //...
　　示例 3
　　再来看一个嵌套的例子： ExecutionStrategy = core.ParallelExecutor.ExecutionStrategy BuildStrategy = core.ParallelExecutor.BuildStrategy if self._build_strategy is None:     self._build_strategy = BuildStrategy() self._build_strategy.is_distribution = _is_pserver_mode(self._program)
　　上述代码中的 BuildStrategy 类型绑定的又是 c++ 端哪个函数呢？在 pybind.cc 文件中有如下定义： py::class_ pe(m, ＂ParallelExecutor＂); py::class_ exec_strategy(pe, ＂ExecutionStrategy＂, R＂DOC( ... ）
　　记住：paddle 框架代码中，core、core_avx 都是 python 的 module. 除了 pybind.cc、protobuf.cc 之外，paddle 中类似地还有 data_set_py.cc 等文件中也定义了 python 与 c++ 的绑定关系。
　　另外要注意的是，paddle 中并不是每一个 python 类型、函数或变量都是调用 c++ 端的，paddle 框架中也有许多 python 代码，它们的作用要么调用后端 c++ 代码，要么封装一些 c++ 功能，或者用 python 实现部分功能，以便给用户提供简洁、便捷的 api.