神经网络解常微分方程（ODE，附源码）

　　1原理简介
　　微分方程可以写成2部分：第一部分满足初始和边界条件并包含不可调节参数第二部分不会影响第一部分，这部分涉及前馈神经网络，包含可调节参数（权重）。
　　因此在构建微分方程的函数时，要满足上述两个条件，今天就来简单看下。
　　假设存在以下微分方程：
　　上述微分方程f对应着一个函数u（t），同时满足初始条件u（0）u0，为此可以令：
　　则NN（t）的导数为：
　　根据以上等式，NN（t）的导数近似于：
　　可以把上式转换成损失函数：
　　简而言之，就是已知微分函数，然后用神经网络去拟合该微分函数的原函数，然后用微分公式作为损失函数去逼近原微分函数。
　　微分公式：
　　此外，还需要将初始条件考虑进去：
　　上述并不是一个好的方法，损失项越多会影响稳定性。为此会定义一个新函数，该函数要满足初始条件同时是t的函数：
　　则损失函数为：
　　注意，神经微分网络目前主要是去近似一些简单的微分函数，复杂的比较消耗时间以及需要高算力。2实践
　　假设存在下述微分函数和网络：
　　importtensorflowastfimportmatplotlib。pyplotaspltimportnumpyasnpnp。random。seed（123）tf。random。setseed（123）微分初始条件以及相应参数定义f01初始条件u（0）1用于神经网络求导，无限小的小数infsnp。sqrt（np。finfo（np。float32）。eps）learningrate0。01trainingsteps500batchsize100displaysteptrainingsteps10神经网络参数定义ninput1输入维度nhidden132第一层输出维度nhidden232第二层输出维度noutput1最后一层输出维度weights｛h1：tf。Variable（tf。random。normal（〔ninput，nhidden1〕）），h2：tf。Variable（tf。random。normal（〔nhidden1，nhidden2〕）），out：tf。Variable（tf。random。normal（〔nhidden2，noutput〕））｝biases｛b1：tf。Variable（tf。random。normal（〔nhidden1〕）），b2：tf。Variable（tf。random。normal（〔nhidden2〕）），out：tf。Variable（tf。random。normal（〔noutput〕））｝优化器optimizertf。optimizers。SGD（learningrate）定义模型和损失函数多层感知机defmultilayerperceptron（x）：xnp。array（〔〔〔x〕〕〕，dtypefloat32）layer1tf。add（tf。matmul（x，weights〔h1〕），biases〔b1〕）layer1tf。nn。sigmoid（layer1）layer2tf。add（tf。matmul（layer1，weights〔h2〕），biases〔b2〕）layer2tf。nn。sigmoid（layer2）outputtf。matmul（layer2，weights〔out〕）biases〔out〕returnoutput近似原函数defg（x）：returnxmultilayerperceptron（x）f0微分函数deff（x）：return2x定义损失函数逼近导数defcustomloss（）：summation〔〕注意这里，没有定义数据，根据函数中t的范围选取了10个点进行计算forxinnp。linspace（0，1，10）：dNN（g（xinfs）g（x））infssummation。append（（dNNf（x））2）returntf。reducemean（tf。abs（summation））训练函数deftrainstep（）：withtf。GradientTape（）astape：losscustomloss（）trainablevariableslist（weights。values（））list（biases。values（））gradientstape。gradient（loss，trainablevariables）optimizer。applygradients（zip（gradients，trainablevariables））训练模型foriinrange（trainingsteps）：trainstep（）ifidisplaystep0：print（loss：f（customloss（）））绘图frommatplotlib。pyplotimportfigurefigure（figsize（10，10））TrueSolution（foundanalitically）deftruesolution（x）：returnx21Xnp。linspace（0，1，100）result〔〕foriinX：result。append（g（i）。numpy（）〔0〕〔0〕〔0〕）Struesolution（X）plt。plot（X，S，labelOriginalFunction）plt。plot（X，result，labelNeuralNetApproximation）plt。legend（loc2，prop｛size：20｝）plt。show（）
　　参考：
　　https：towardsdatascience。comusingneuralnetworkstosolveordinarydifferentialequationsa7806de99cdd