用Python开发一个自然语言处理模型，并用Flask进行部

　　截住到目前为止，我们已经开发了许多机器学习模型，对测试数据进行了数值预测，并测试了结果。实际上，生成预测只是机器学习项目的一部分，尽管它是我认为最重要的部分。今天我们来创建一个用于文档分类、垃圾过滤的自然语言处理模型，使用机器学习来检测垃圾短信文本消息。我们的ML系统工作流程如下：离线训练gt；将模型作为服务提供gt；在线预测。
　　1、通过垃圾邮件和非垃圾邮件训练离线分类器。
　　2、经过训练的模型被部署为服务用户的服务。
　　当我们开发机器学习模型时，我们需要考虑如何部署它，即如何使这个模型可供其他用户使用。Kaggle和数据科学训练营非常适合学习如何构建和优化模型，但他们并没有教会工程师如何将它们带给其他用户使用，建立模型与实际为人们提供产品和服务之间存在重大差异。
　　在本文中，我们将重点关注：构建垃圾短信分类的机器学习模型，然后使用Flask（用于构建Web应用程序的Python微框架）为模型创建API。此API允许用户通过HTTP请求利用预测功能。让我们开始吧！
　　构建ML模型
　　数据是标记为垃圾邮件或正常邮件的SMS消息的集合，可在此处找到。首先，我们将使用此数据集构建预测模型，以准确分类哪些文本是垃圾邮件。朴素贝叶斯分类器是一种流行的电子邮件过滤统计技术。他们通常使用词袋功能来识别垃圾邮件。因此，我们将使用NaiveBayes定理构建一个简单的消息分类器。importpandasaspd
　　importnumpyasnp
　　fromsklearn。featureextraction。textimportCountVectorizer
　　fromsklearn。modelselectionimporttraintestsplit
　　fromsklearn。naivebayesimportMultinomialNB
　　fromsklearn。metricsimportclassificationreport
　　dfpd。readcsv（spam。csv，encodinglatin1）
　　df。drop（〔Unnamed：2，Unnamed：3，Unnamed：4〕，axis1，inplaceTrue）
　　df〔label〕df〔class〕。map（｛ham：0，spam：1｝）
　　Xdf〔message〕
　　ydf〔label〕
　　cvCountVectorizer（）
　　Xcv。fittransform（X）FittheData
　　Xtrain，Xtest，ytrain，ytesttraintestsplit（X，y，testsize0。33，randomstate42）
　　NaiveBayesClassifier
　　clfMultinomialNB（）
　　clf。fit（Xtrain，ytrain）
　　clf。score（Xtest，ytest）
　　ypredclf。predict（Xtest）
　　print（classificationreport（ytest，ypred））
　　NaiveBayes分类器不仅易于实现，而且提供了非常好的性能。在训练模型之后，我们都希望有一种方法来保持模型以供将来使用而无需重新训练。为实现此目的，我们添加以下行以将我们的模型保存为。pkl文件供以后使用。fromsklearn。externalsimportjoblib
　　joblib。dump（clf，NBspammodel。pkl）
　　我们加载并使用保存的模型：NBspammodelopen（NBspammodel。pkl，rb）
　　clfjoblib。load（NBspammodel）
　　上述过程称为标准格式的持久模型，即模型以特定的开发语言的特定格式持久存储。下一步就是将模型在一个微服务中提供，该服务的公开端点用来接收来自客户端的请求。
　　将垃圾邮件分类器转换为Web应用程序
　　在上一节中准备好用于对SMS消息进行分类的代码之后，我们将开发一个Web应用程序，该应用程序由一个简单的Web页面组成，该页面具有允许我们输入消息的表单字段。在将消息提交给Web应用程序后，它将在新页面上呈现该消息，从而为我们提供是否为垃圾邮件的结果。
　　首先，我们为这个项目创建一个名为SMSMessageSpamDetector的文件夹，这是该文件夹中的目录树，接下来我们将解释每个文件。spam。csv
　　app。py
　　templates
　　home。html
　　result。html
　　static
　　style。css
　　子目录templates是Flask在Web浏览器中查找静态HTML文件的目录，在我们的例子中，我们有两个html文件：home。html和result。html。
　　app。py
　　app。py文件包含将由Python解释器执行以运行FlaskWeb应用程序的主代码，还包含用于对SMS消息进行分类的ML代码：fromflaskimportFlask，rendertemplate，urlfor，request
　　importpandasaspd
　　importpickle
　　fromsklearn。featureextraction。textimportCountVectorizer
　　fromsklearn。naivebayesimportMultinomialNB
　　fromsklearn。externalsimportjoblib
　　appFlask（name）
　　app。route（）
　　defhome（）：
　　returnrendertemplate（home。html）
　　app。route（predict，methods〔POST〕）
　　defpredict（）：
　　dfpd。readcsv（spam。csv，encodinglatin1）
　　df。drop（〔Unnamed：2，Unnamed：3，Unnamed：4〕，axis1，inplaceTrue）
　　FeaturesandLabels
　　df〔label〕df〔class〕。map（｛ham：0，spam：1｝）
　　Xdf〔message〕
　　ydf〔label〕
　　ExtractFeatureWithCountVectorizer
　　cvCountVectorizer（）
　　Xcv。fittransform（X）FittheData
　　fromsklearn。modelselectionimporttraintestsplit
　　Xtrain，Xtest，ytrain，ytesttraintestsplit（X，y，testsize0。33，randomstate42）
　　NaiveBayesClassifier
　　fromsklearn。naivebayesimportMultinomialNB
　　clfMultinomialNB（）
　　clf。fit（Xtrain，ytrain）
　　clf。score（Xtest，ytest）
　　AlternativeUsageofSavedModel
　　joblib。dump（clf，NBspammodel。pkl）
　　NBspammodelopen（NBspammodel。pkl，rb）
　　clfjoblib。load（NBspammodel）
　　ifrequest。methodPOST：
　　messagerequest。form〔message〕
　　data〔message〕
　　vectcv。transform（data）。toarray（）
　　mypredictionclf。predict（vect）
　　returnrendertemplate（result。html，predictionmyprediction）
　　ifnamemain：
　　app。run（debugTrue）
　　1、我们将应用程序作为单个模块运行，因此我们使用参数初始化了一个新的Flask实例，name是为了让Flask知道它可以在templates所在的同一目录中找到HTML模板文件夹（）。
　　2、接下来，我们使用routedecorator（app。route（））来指定可以触发home函数执行的URL。我们的home函数只是呈现home。htmlHTML文件，该文件位于templates文件夹中。
　　3、在predict函数内部，我们访问垃圾邮件数据集、预处理文本、进行预测，然后存储模型。我们访问用户输入的新消息，并使用我们的模型对其标签进行预测。
　　4、我们使用该POST方法将表单数据传输到邮件正文中的服务器。最后，通过debugTrue在app。run方法中设置参数，进一步激活Flask的调试器。
　　5、最后，我们使用run函数执行在服务器上的脚本文件，我们需要确保使用if语句namemain。
　　home。html
　　以下是home。html将呈现文本表单的文件的内容，用户可以在其中输入消息：lt；！DOCTYPEhtmlgt；
　　lt；htmlgt；
　　lt；headgt；
　　lt；titlegt；Homelt；titlegt；
　　lt；！lt；linkrelstylesheettypetextcsshref。。staticcssstyles。cssgt；gt；
　　lt；linkrelstylesheettypetextcsshref｛｛urlfor（static，filenamecssstyles。css）｝｝gt；
　　lt；headgt；
　　lt；bodygt；
　　lt；headergt；
　　lt；pclasscontainergt；
　　lt；pidbrandnamegt；
　　MachineLearningAppwithFlask
　　lt；pgt；
　　lt；h2gt；SpamDetectorForSMSMessageslt；h2gt；
　　lt；pgt；
　　lt；headergt；
　　lt；pclassmlcontainergt；
　　lt；formaction｛｛urlfor（predict）｝｝methodPOSTgt；
　　lt；pgt；EnterYourMessageHerelt；pgt；
　　lt；！lt；inputtypetextnamecommentgt；gt；
　　lt；textareanamemessagerows4cols50gt；lt；textareagt；
　　lt；inputtypesubmitclassbtninfovaluepredictgt；
　　lt；formgt；
　　lt；pgt；
　　lt；bodygt；
　　lt；htmlgt；
　　viewraw
　　style。css文件
　　在home。html的head部分，我们将加载styles。css文件，CSS文件是用于确定HTML文档的外观和风格的。styles。css必须保存在一个名为的子目录中static，这是Flask查找静态文件（如CSS）的默认目录。body｛
　　font：15px1。5Arial，Helvetica，sansserif；
　　padding：0px；
　　backgroundcolor：f4f3f3；
　　｝
　　。container｛
　　width：100；
　　margin：auto；
　　overflow：hidden；
　　｝
　　header｛
　　background：03A9F4；35434a；
　　borderbottom：448AFF3pxsolid；
　　height：120px；
　　width：100；
　　paddingtop：30px；
　　｝
　　。mainheader｛
　　textalign：center；
　　backgroundcolor：blue；
　　height：100px；
　　width：100；
　　margin：0px；
　　｝
　　brandname｛
　　float：left；
　　fontsize：30px；
　　color：fff；
　　margin：10px；
　　｝
　　headerh2｛
　　textalign：center；
　　color：fff；
　　｝
　　。btninfo｛backgroundcolor：2196F3；
　　height：40px；
　　width：100px；｝Blue
　　。btninfo：hover｛background：0b7dda；｝
　　。resultss｛
　　borderradius：15px50px；
　　background：345fe4；
　　padding：20px；
　　width：200px；
　　height：150px；
　　｝
　　style。css文件
　　result。html
　　我们创建一个result。html文件，该文件将通过函数rendertemplate（result。html，predictionmyprediction）返回呈现predict，我们在app。py脚本中定义该文件以显示用户通过文本字段提交的文本。result。html文件包含以下内容：lt；！DOCTYPEhtmlgt；
　　lt；htmlgt；
　　lt；headgt；
　　lt；titlegt；lt；titlegt；
　　lt；linkrelstylesheettypetextcsshref｛｛urlfor（static，filenamecssstyles。css）｝｝gt；
　　lt；headgt；
　　lt；bodygt；
　　lt；headergt；
　　lt；pclasscontainergt；
　　lt；pidbrandnamegt；
　　MLApp
　　lt；pgt；
　　lt；h2gt；SpamDetectorForSMSMessageslt；h2gt；
　　lt；pgt；
　　lt；headergt；
　　lt；pstylecolor：blue；fontsize：20；textalign：center；gt；lt；bgt；ResultsforCommentlt；bgt；lt；pgt；
　　lt；pclassresultsgt；
　　｛ifprediction1｝
　　lt；h2stylecolor：red；gt；Spamlt；h2gt；
　　｛elifprediction0｝
　　lt；h2stylecolor：blue；gt；NotaSpam（ItisaHam）lt；h2gt；
　　｛endif｝
　　lt；pgt；
　　lt；bodygt；
　　lt；htmlgt；
　　result。html
　　从result。htm文件我们可以看到一些代码使用通常在HTML文件中找不到的语法例如，｛ifprediction1｝，｛elifprediction0｝，｛endif｝这是jinja语法，它用于访问从HTML文件中请求返回的预测。
　　我们就要大功告成了！
　　完成上述所有操作后，你可以通过双击appy。py或从终端执行命令来开始运行API：cdSMSMessageSpamDetector
　　pythonapp。py
　　你应该得到以下输出：
　　现在你可以打开Web浏览器并导航到http：127。0。0。1：5000，你应该看到一个简单的网站，内容如下：
　　恭喜！我们现在以零成本的代价创建了端到端机器学习（NLP）应用程序。如果你回顾一下，其实整个过程根本不复杂。有点耐心和渴望学习的动力，任何人都可以做到。所有开源工具都使每件事都成为可能。
　　更重要的是，我们能够将我们对机器学习理论的知识扩展到有用和实用的Web应用程序！
　　完整的工作源代码可在此存储库中找到，祝你度过愉快的一周！
　　本文由阿里云云栖社区组织翻译。
　　文章原标题《developanlpmodelinpythondeployitwithflaskstepbystep》作者：SusanLi，加拿大数据科学家
　　作者：【方向】