童话说说技术创业美文职业
投稿投诉
职业母婴
职场个人
历史治疗
笔记技能
美文纠纷
幽默家庭
范文作文
乐趣解密
创业案例
社会工作
新闻家居
心理安全
技术八卦
仲裁思考
生活时事
运势奇闻
说说企业
魅力社交
安好健康
传统笑话
童话初中
男女饮食
周易阅读
爱好两性

如何用数学函数去理解机器学习?

5月1日 观潮阁投稿
  本文主要分享了如何基于数学函数原理去理解机器学习的本质,并简要介绍了机器学习的过程。
  近期也是在做项目的过程中发现,其实AI产品经理不需要深入研究每一种算法,能了解机器学习的过程,这其中用到哪些常用算法,分别使用与解决哪些问题和应用场景,并基于了解的知识,去更好的建立AI产品落地流程、把控项目进度、风险评估,这个才是最关键的地方,算法研究交给专业的算法工程师,各司其职,相互配合。
  基于最近看的一些文章和书籍,本文将重点分享,如何用数学函数去理解机器学习的过程,以及用数学原理指导产品工作的一些思考。
  一、机器学习的本质
  机器学习,即学习人类的分析、判断、解决问题的能力。人的能力如何得来?通过长期的信息输入,再经过大脑思考,最后输出对事物的判断。
  那么机器如何学习?通过大量的训练数据,学习找规律,找到问题的理想最优解。所以,机器学习的本质其实是函数预测,即f:y。
  图片来源:网络
  中学时期,我们常解的数据问题之一便是:求解方程。已知坐标(x1,y1),(x2,y2)(xn,yn)求解n元n次方程,再将新的x带入方程对应的y。机器学习的过程可以类比方程求解过程:
  样本数据:已知的坐标集D:(x1,y1),(x2,y2)(xn,yn);
  算法:即求解函数的方法;
  模型训练:最后求解的方程或函数;
  评估方法:将新的x带入方程验证函数“预测”是否正确。
  与普通的函数不同的是,机器学习往往很难求解出完整的方程,通过各种手段求最接近理想情况下的未知项取值。以人脸识别为例,预测函数为:f:X(图片脸部特征)Y(身份),其中f则是通过机器学习后,具有人脸识别能力的模型。使用不同的机器学习方法训练的模型不同,即对应的函数形式也不同。
  机器学习解决的常见四类问题:分类、聚类、排序和推荐。
  (1)分类问题:一般包括二分类和多分类的问题,二分类即非黑即白,比如垃圾邮件过滤;多分类问题,即有多种类别的输出结果,比如图像识别。
  (2)聚类问题:在一个集合中,将相似度高的对象组成多个类的过程叫聚类。比如一些新闻类的应用,将未标注的数据通过聚类算法来构建主题。
  (3)排序问题:根据相关度、重要度、匹配度等,让用户在海量的信息中找到想要的信息,常见的应用场景,如搜索引擎。
  (4)推荐问题:典型的应用场景,电商行业的千人千面,根据用户的购买、收藏等行为,分析用户的喜好,实现精准营销。
  在理解了机器学习的本质以及常见的问题类型后,下面将介绍机器学习的过程。
  二、机器学习的过程
  机器学习的过程主要分为三个步骤:样本准备、算法选取、模型评估。
  1。样本准备
  机器学习,需要先学习才能预测判断,样本则是机器学习的信息输入,样本的质量很大程度上决定了机器学习的效果。以人脸识别为例,其样本是大量的人脸图片。那么,大量的样本如何获取?按数据来源分类,可分为内部样本和外部样本。
  (1)内部样本
  内部样本数据,一般可基于内部已积累的样本数据,或通过对产品进行数据标注或者埋点,来收集更多维度的样本数据。
  (2)外部样本
  若数据的量级或丰富度不够,则可能需要获取一些外部样本。比如通过搜索典型的大型公开数据集,或者数据爬取等方式,来获取一些指定场景的新样本。
  2。算法选取
  在机器学习的过程中,找到接近理想模型(函数)的方法即算法。机器学习的常用算法很多,不同的算法,解决的问题不同,适用的场景也不同。
  如下图,比如解决聚类问题,一般使用无监督学习算法,分类问题,一般使用有监督学习算法:支持向量机SVM、神经网络等,目前神经网络依然是研究热点之一。
  (1)神经网络原理
  神经网络是一种模仿人类思考方式的模型,就像飞机模仿鸟的形态一样,神经网络也借鉴了生物学的神经元结构。神经元细胞主要由树突、轴突和细胞体构成,树突用于接收信号并传递给细胞体,细胞体处理信号,轴突输出信号。神经网络结构与此类似,一个典型的单隐含层神经网络架构如下图:
  图片来源:网络
  输入层:接收输入数据,如图片、语音特征等;
  隐藏层:承载数据特征运算;
  输出层:输出计算的结果;
  其本质是,通过调整内部大量处理单元的连接关系、激励函数和权重值,实现对理想函数的逼近。
  (2)深度学习
  深度学习是神经网络的一种算法,目前在计算机视觉等领域应用十分广泛,相比单隐藏层神经网络结构,深度学习神经网络是一种多隐藏层、多层感知器的学习结构。如下图所示,增加更多的隐藏层后,网络能更深入得表示特征,以及具有更强的函数模拟能力,能获得更好的分类能力。
  图片来源:网络
  深度学习三类经典的神经网络分别是:深度神经网络DNN、卷积神经网络CNN、和循环神经网络RNN。其中DNN、CNN一般解决计算机视觉、图像识别等分类问题,RNN适用于自然语言处理等问题。
  基于大量的样本、选取合适的算法进行模型训练后,下一步则是对模型的预测效果进行评估。
  3。模型评估
  模型评估一般可分为两个阶段:实验阶段和上线阶段,在实验阶段能达到一定的使用标准指标,才能进入实际上线使用阶段。
  (1)实验阶段
  为了评估模型的可用性,需要对模型的预测能力进行评价,其中很重要的一个评价指标就是准确率,即模型预测和标签一致的样本占所有样本的比例。即选择不同于训练数据的,有标签数据的测试集,输入模型进行运算,计算预测的准确率,评估模型对于测试集的预测效果是否能模型可用指标。
  (2)上线阶段
  在模型投入使用后,基于上线后的真实数据反馈,评估模型的能力,并基于新的反馈数据,持续迭代优化模型,提高或保持模型的泛化能力。
  三、总结与思考
  作为产品赋能的一个“工具”,产品化的整个流程可总结为:业务需求转化为业务函数样本数据获取选择合适的算法模型训练内部评估上线验证迭代。
  其实这个过程,最底层的逻辑还是基于数学建模原理的思路来解决问题,也可用来指导一些日常产品工作中的问题。比如,《增长黑客》中的增长杠杆、北极星指标等方法,其本质也是数据建模的原理。定义业务函数、确定影响因素、权重成本分析、判断最优解决方案,评估上线反馈形成闭环。
  所有,很多问题表面看起来各式各样、各不相同,但抽象出来可能就是一些学科问题,比如数学、物理、经济学等,联想到我前段时间分享的一篇文章《透过《奇葩说》论点,看背后的多元思维模型》中提到的多元思维模型核心观点越往深层次思考,越能挖掘事物本质,越接近学科原理。
  愿我们都能掌握一把尚方宝剑,一路“升级打怪”、“斩妖除魔”
投诉 评论

如何用数学函数去理解机器学习?本文主要分享了如何基于数学函数原理去理解机器学习的本质,并简要介绍了机器学习的过程。近期也是在做项目的过程中发现,其实AI产品经理不需要深入研究每一种算法,能了解机器学习……产品经理10大基础技能(5):读透神经网络和机器学习本篇先介绍许多热门的行业均在产生AI产品经理岗位的需求,再详细介绍AI产品经理必懂的AI技能,接着撰写什么是神经网络?什么是机器学习?最后用一个案例详细拆解AI产品经理如何用机……从算法到产品:NLP技术的应用演变文章回顾了近几年NLP的发展历程,从项目实施的两个阶段中带我们梳理了NLP技术的应用演变。第一个与大家分享的Case,基于NLP展开。分为3个部分,分别是NLP的发展、项……如何评测语音助手的智能程度(5):指标权重设计这是一份前面四篇评测维度介绍文章的总结,同时也是一份清单使用说明书。知己知彼,百战不殆,调研评测其他公司的产品是从业者的日常操作,那么当一个产品放到我们手里的时候,到底看……关于BI,你想知道的都在这里过去几十年,BI经历了从工具到“决策大脑”的角色转变,而未来一定是向“智能决策大脑”转型,也就是“AIBI”。未来5年,BI不会只停留在对历史数据的多维统计。当很多人还不……机器学习中的判别式模型和生成式模型如今已经进入2020年了,5G的时代已经到来,而机器人应用将更加的广泛,下面就让我们去了解机器人在学习中的两类模型,这文章告诉两种类型的区别,推荐给对机器人感兴趣的朋友们阅读!……如何评测语音助手的智能程度(3):交互流畅本篇文章为大家带来【交互流畅】维度的评测点拆解。这个模块,重点考量智能助手各个性能指标及交互体验层面的表现。希望对从事相关领域工作的各位有所启发。当用户发起需求后,【意图……如何评测语音助手的智能程度(2):服务提供关于如何评测的问题,笔者从四个维度展开了分析,而本文服务提供维度展开评测点的拆解,考量的是场景理解及整合应用CP和SP的能力。很多人觉得AI是一个行业,但AI其实并不是行……如何用AI技术保护隐私安全?在AI技术与相关产品高速发展的时代,大量用户隐私未经同意而被用于AI机器学习中,危害用户隐私安全。而国内外AI巨头也意识到这一点,并积极用AI技术制定出保护隐私安全的……如何评测语音助手的智能程度(1):意图理解本文重点定义和讨论第一大模块【意图理解】,即是否能够理解识别用户表述的意图。笔者以为,这个模块是衡量AI智能与否的核心维度,并将为大家揭晓评测维度与指标。从事AINLP领……2020年中国语音OS市场专题分析伴随5G技术的发展、人工智能技术以及自然语言理解能力的提升,带动了一波产业热潮,国内百度、科大讯飞、喜马拉雅等巨头纷纷在智能语音领域发力,智能语音产业迎来发展黄金期。未来……AI落地到教育领域,需要哪些必备条件?本文以教育机器人为例,来实际探讨如何让教育机器人,逐步成为中小学AI技术课程和综合实践课程的良好载体。信息技术的迭代发展不断推动着教育的变革创新,随着人工智能技术的发展,……
马云:适合创业的穷人,穷人应该怎么创业?穷人创业短少钱,这是一个事实,但是除了钱之外,穷人还短少的东西就是:可以让人喜欢上本人的理由,你会发现有的时分关于有高势能的人而言,让我们这些人赚点钱只可能是‘开心’就能处理的……他是最倒霉互联网创业者:由于23岁欠债2500亿,现如今变公他是最倒霉互联网创业者:由于23岁欠债2500亿,现如今变公司?https:cye。yunshangxitong。cncyzx2497。html作为科技时期的产物,……2019最新创业项目,年轻人如果不创业在现在的社会还能做什么2019最新创业项目,年轻人如果不创业在现在的社会还能做什么?https:cye。yunshangxitong。cncyzx2495。html如今越来越多的年轻人投……2019巨大趋势来临,将会成就大批普通穷人翻身致富,你看懂了2019巨大趋势来临,将会成就大批普通穷人翻身致富,你看懂了吗https:cye。yunshangxitong。cncyzx2578。马云:……当今社会最新财富风暴,抓住机会,将成就一批千万富翁有你吗?当今社会最新财富风暴,抓住机会,将成就一批千万富翁有你吗?https:cye。yunshangxitong。cncyzx2582。html假如你想要成为强者,必要做……鬼谷子:很多事业有成的都不是老实人,读读这6句话,太老实你就鬼谷子:很多事业有成的都不是老实人,读读这6句话,太老实你就输了!https:cye。yunshangxitong。cngsyllzyl2608。html人称鬼谷子……冬天靴子有什么款式种类7大靴子款式种类让你冬天靴子挑选不操心靴子款式种类很多,可根据靴子款式种类的样式、面料、高矮不同而分为若干类。根据靴子款式种类的样式可以分成尖头靴、圆头靴、小尖头靴等。根据靴子款式种类的面料可分为皮靴、布靴、毡靴。……社会老实人的生意经,“无商不尖”这样可以让实体店生意火爆!(社会老实人的生意经,“无商不尖”这样可以让实体店生意火爆!(社会实体)https:cye。yunshangxitong。cncyzx2607。众所……人,穷的不是口袋,而是脑袋(励志语录)假设给你5个亿,你准备用来干什么?有人肯定会说:给我五个亿还要我干嘛?当然就什么都不用干了啊!当初,王健林给了王思聪5个亿,结果他用这笔钱赚了40亿。一个假定……很多人都被骗了,其实免费才是最赚钱的商业模式!你的店里原本有一款产品卖得很好,给你带来了很多收入;结果某天忽然呈现一家店,说要免费送这款产品,把你的一切客人都吸收过去了,你会不会解体?不要以为这种状况你不可能遇到!要……手把手教你如何寻找赚钱暴利产品,新手必收藏(暴力)手把手教你如何寻找赚钱暴利产品,新手必收藏(暴力)https:cye。yunshangxitong。cncyzx2609。这几天不时地有人来找我,……人越在落魄时,越穷都别用这三种方式挣钱,否则你只能越混越差!如今很多人都不想上班,但是又不得不上班,没方法,不上班就会饿死,为了养活本人,那只能去上班,但是就算你这时分再穷,以下这几种工作也千万不要做,要不然的话那你就是自毁前程。……
友情链接:中准网聚热点快百科快传网快生活快软网快好知文好找作文动态热点娱乐育儿情感教程科技体育养生教案探索美文旅游财经日志励志范文论文时尚保健游戏护肤业界