人生，就是一个数据挖掘

　　世界是连续的，人们试图用离散的视角来解释它。
　　世界在时空上都有它的连续性，当我们抽出一个个时间点作参考分析，拿一个个事物分门别类，这是我们认识世界最便捷的方式，但就因为这样，世界是我们永远不可能穷举的。为什么做数据挖掘和医生看病一样，永远没有止境，那就是因为数据就是病症，这个世界上有无数接连不断的、变异的病症涌现，数据亦如此。
　　熊辉老师认为，数据挖掘有三层境界：“第一层，看山是山，看水是水；第二层，看山不是山，看水不是水；第三层，看山还是山，看水还是水。”这参考的是宋代禅宗大师青原行思提出参禅的三重境界：“参禅之初，看山是山，看水是水；禅有悟时，看山不是山，看水不是水；禅中彻悟，看山仍然山，看水仍然是水。”
　　初学之时，面对茫茫数据却不知如何看穿。行进有时，渐悟一二，能从数据中抽取其未间接表达的信息。而历经无数后，回归本原，飞花摘叶，只一二法，变能斩获至宝。此吾之理解数据挖掘三重进阶。
　　未来的金融是大数据技术的天下
　　北美发达的商业交易市场，已不再是传统股票经纪人每天看财报，分析股指，买卖两三支股票就能高枕无忧的年头了。T0的交易模式允许交易方在同一天买入和卖出，于是就产生了自动交易机，每秒钟执行上百万次的买卖交易，而这些交易的决策，完全是由机器智能实现的。因为交易笔数的增多，每笔交易的利润并不需要很大，整体也能产生巨大的盈利。甚至有公司利用纽约证交所到太平洋对岸的结算中心2ms的信息传输延迟，赚取了大量收入，这些高频交易，跟传统的金融分析已经间隔渐远，大数据技术成为重中之重。当美国一大批商学院在向信息界寻求力量，而中国的商学院尚处于学习美国以往模式，学生只懂现象不懂技术，此番培养的金融人才，必将很难适应市场，这是熊老师提出对国内“金融热”的大大担忧。而计算机行业，若有数据挖掘背景，将会有巨大的发展空间，不仅仅在金融界。
　　选导师也是一次数据挖掘课题
　　首先，要会看这个导师以前的学生毕业后的发展情况，这些是训练集（Trainingdata）。而后去老师主页看看他她文章的署名，全是第一作者的，就不要报了，否则会很惨。第三要懂得触类旁通，多去问问现在在他门下的师兄师姐，了解实际情况。
　　数据挖掘四大分支：分类、聚类、关联、异常诊断
　　所谓人才过剩，说的是一致化的人才一大把。熊老师用自己学生为什么被名校录取做教职的例子，告诉我们，可以经常用“异常诊断”（Outliersdetection）来评估自己，在哪些维度上，自己是独特又有价值的。注意一个定义，Outlier和Noise不一样，Outlier是真实存在的，但与一般实例有不一样的表现，而Noise是错误的数据，可能是采集、存储、运输中发生的问题，做数据清理的时候需要除去。
　　讲到数据清理，它主要包括两个方面，一是FeatureSelection，这是机器学习经常要做的问题，除去无关或者影响甚微的性质Feature，不仅提高了算法的准确率，还减少了计算复杂度。二是Instanceselection，这就是要消除那些跟我们研究目的无关的例子，比如我们要研究所有男性患高血压的概率问题，就不应混入女性的数据。
　　采样是很危险的
　　那些没有做过大数据实践的统计学家经常鼓吹，他们通过采样，只需千分之一的数据，就能得出数据的模式（Pattern）。其实，这在很多情况下都是扯淡，采样有至少三个危险区。第一，采样可能导致异常消失，如果我们要做的就是异常诊断（Outliersdetection），异常本来就稀少，如果用随机采样，绝对变白痴。第二，采样会导致关联减弱。第三，采样可能会忽略小型聚类，举个例子，要是社交网络中的小聚类正好是VIP客户群，这样的忽略麻烦就大了。
　　庄子“识人九征”
　　将数据投射到另一个空间或者维度，是数据挖掘中很高级的一中方法。熊老师举庄子“识人九征”作为例子：“远使之而观其忠，近使之而观其敬，烦使之而观其能，卒然问焉而观其知，急与之期而观其信，委之以财而观其仁，告之以危而观其节，醉之以酒而观其侧，杂之以处而观其色。”（【庄子杂篇列御寇】）以上九种情况，都是把要考察的人放在一个特定的场景下，观察其反应，此即MappingSpace。
　　数据挖掘做科研的切入点