本文主要向大家介绍了机器学习入门之大数据和机器学习固废行业商业价值，通过具体的内容向大家展现，希望对大家学习机器学习入门有所帮助。

一、大数据和机器学习的基本概念，历史渊源。综述当前大数据和机器学习应用领域。我的判断是，这两个概念现在已经不是出炒作，已经走向实用领域。

大数据这个概念兴起，我感觉是在2012年。这一年，大数据这个概念在计算机这个领域经常被提取。普通的媒体也开始常常有报道，当然普通媒体对大数据这个概念并没有什么实质性了解，他们只是在炒一些大数据表面含义，例如大数据就是大量的数据，究竟多大量数据就是大数据，我想当时的媒体多是答不上来，就算是现在，我想他们也是答不上来的。或者有些媒体留意到计算机领域一些引用到的观点，就是说几百个G的数据量就可以称为大数据。其实这是对大数据概念非常肤浅的理解。我认为大数据更重要的是指大量数据时，系统的处理方法和数据应用能力。这才是大数据核心的价值所在。

大数据处理的技术早就在技术先锋的公司得到广泛的应用，例如Google 搜索引擎。现在广泛使用到的大数据技术，就是开源社区从Google在2004年发表的GFS论文，实现论文中的大数据存储和处理技术。大数据概念兴起，这和另外一项技术在大量数据处理能力有关，这项技术就是关系型数据库。因为关系型数据库在面对大量数据时，由于本身技术架构和理论，在处理大量数据时显得力不从心，例如在几十亿笔交易记录里求平均值（在这里不讨论抽样方式，抽样在很多场景也不适合）。因为现在每天，都有很多场合会产生大量要记录的内容（进一步描述）。所以就要有新的技术来处理这种情况。这就是大数据技术诞生的背景。

其实在08-12年左右，像电信公司这样的企业，每天用户产生的数据量就很大。我参加一个技术会议了解到的，像广州和佛山的移动公司，每天他们的业务系统生产数据，就是上百个G，在12年-15年左右，多数的传统企业，他们的信息部门有认识到大数据重要性，由于对大数据处理技术和数据应用能力有限 ，多半是做数据收集，看着硬盘的数据在膨胀。由于数据应用能力不强，所以数据收集方向也不大明确，这些企业信息部门只有尽可能的收集存储数据，等到以后有条件了，再进行数据处理和分析。这些场景算是比较好的，比较糟糕的情况，连收集数据意识也没有。

下面进行简要的分析，企业为什么要收集大量数据。接着要解释大数据处理有哪些技术难点和数据应用难点。

收集大数据原因：1、在现代社会的任何一项有意义研究，大多离不开数据的支持。当然，如果是爱因斯坦，乔某某这一类的，另当别论。有很多研究，要得到比较准确的结果和预测，往往需要大量的样本数据作为支撑。例如，在研究人的很多行为喜好（行业术语，用户画像），往往要从多个角度进行描述，这样关联的数据就很多（常常会关联到音频和视频）。在商业上面对的，多是大量用户。事实上，每个人每天发生的很多我们不大留意的行为，都被网络很巧妙的收集起来，只是我们不知道。这些数据量都是非常大的，并且还在不断增加和更新。2、大数据处理，导致在上世纪90年代兴起，本世纪初趋向沉滞的技术重新兴起。特别是在这两年，几乎就是IT界讨论的全部内容，那就机器学习，以及由其演化的深度学习和迁移学习。机器学习在处理数据时，有个特点，即通过给机器“喂取”大量的数据，让机器可以像人一样通过学习逐步自我改善提高。这个反过来，需要大量数据。机器学习在我们公司业务中的应用，就是我本文要讨论的重点。3、科学研究例如基因技术，天文学，分析对象，多就是海量数据。4、多媒体数据。还有很多很多收集大数据原因，这里不再举例。

大数据处理难点：1、技术复杂。大数据量太大了，一般都是进行分布式存储和计算，也就是用分布式系统进行处理。分布式计算技术是比较复杂的，理论也比较抽象。现在用的比较多的大数据处理计算，就是hadoop。这个组件实施难度大。其数据计算组件，一般Map-Reduce。这个组件在编程上，还是不太友好。虽然现在有不少替代分布式计算组件，例如Spark，Hbase等等。但是入门的门槛还是比较高的。2、关联的技术太多了。大数据存储和计算，不单单是一个hadoop，hadoop只是大数据处理的核心组件之一。还有很多相关的技术，Spark、Hbase、zookeeper、linux操作系统技术（最好会shell编程）、Python编程、java编程、机器学习、函数式编程、数据挖掘算法（理解原理）。深厚数学背景，高等数学、线性代数、概率统计。神经网络理论等等。这些技术水平往往会决定大数据项目质量。

数据应用难点：由于存在很高的门槛，这一类大数据专家现在缺口是很大的，薪水也比较高，年薪大多在30-50W。并且大数据项目建设周期也比较长，通过网络了解到的，一个不算很大的项目，很多在2-3年（先驱项目）。导致现在的数据比较难得到处理和应用。投入的资金也不是一笔小数目，中小型企业是负担不起的，除非项目起到立竿见影效果。

二、公司投资的必要性，案例和案例分析，公司可能要用到的场景

我到公司时间不是很长，大约半年时间，公司组织和公司业务都比较多和复杂。根据自己了解到公司业务和大数据应用知识，设想公司可能用到的机器学习以下一些场景。

2.1垃圾识别后分类

2.2垃圾信息识别，估计附件地理的消费人群 喜好

2.3餐厨垃圾，识别后，评估市场农场品价格走向

2.4 公司危废品处理中，危废品识别。

2.5关联分析中，多变量交叉相关分析，数据挖掘前处理

下面就上面所列的场景进行详细说明，以期公司能投入资源开展项目。

垃圾识别分类。垃圾分类，我国官方给出的标准是四类（公司宣传画），国外一般分成两类。我到过不少城市，在公共场合见到的垃圾箱，只有两种，公司也只有两种。不过，实际上，根据我的观察，很少人按照分类，投入不同垃圾箱。原因其实也很清楚，就算有环保意识的人，也不大容易分辨哪些是可以回收，哪些是不可以回收。就算投到垃圾箱的垃圾分类正确了，其实结果也是一样的，我见到的垃圾收集人，很多都是将这两种垃圾混在一起。人多少图方便，如果指望通过宣传来改善人的行为，我认为不大可靠。其实，国外情况也差不多。针对这种情况，特别是机器学习重新兴起，国外有些创业公司做一些垃圾自动分类产品。见下面链接//digi.tech.qq.com/a/20170902/026000.htm。其背后实现关键技术，毫无疑问，就是机器学习。//tech.163.com/17/0827/14/CSRR2E3G00098IEO.html这个报道更加直白，就是使用机器学习，自动实现垃圾分类，无疑更具有环保意义。

垃圾信息识别。通过大量数据，训练好模型后，可以准确的识别出垃圾信息。当然要做到百度和淘宝通过图片就可以识别到该图片的物品名称，是有难度。不过实现的技术原理是一样的，那就是有监督机器学习。淘宝和百度这些互联网公司，已经积累了大量图片数据，并且这些数据还在不断的积累，这些新增数据又为训练更准确模型提供数据源泉。我们也要拥有这样的技术，这技术不但可以直接应用到公司实际生产中，更重要的是，还可也能提供重要的商业价值。准确的识别出垃圾的信息后，我们就可以做这样的数据分析，按地理分析消费倾向，哪些零食比较受欢迎，哪些地方的人比较喜欢养宠物等等。总之有了这些收集的数据，经过数据挖掘和相关分析处理后，我们可能会找到新的商业模式，或者为各种改进方案提供数据支持。在线上，用户的信息和行为喜好几乎都被大的互联网公司扒的干干净净，这些公司所有收入，坦白的说，最终都是依赖他们收集到的用户信息。至于使用的商业手段，各家都有不同。在线下，各个大超市，大卖场，通过会员卡方式，也是事无巨细收集，尽量做到点滴不漏。我们作为环保企业，要通过我们的渠道建立和用户之间的关联。

餐厨垃圾，识别后，评估市场农场品价格走向。同上类似，具体的商业模型建立，有待公司的市场专家做进一步研究。当然，现在也可以经过检测等手段，大致对餐厨成分做出大致判断。不过在细度上，很难跟机器学习相匹比。

公司危废品处理中，危废品识别，中转站和三厂的应用 。这也是在公司很好应用点，生活垃圾里，经常有参入工业垃圾这种情况发生。有些工业垃圾还是比较危险的，例如油漆桶，中转站的同事就算再细心，还是挡不住这些危险品进入中转车。这就留下很大的安全隐患。机器学习这些技术的应用，虽然不能说杜绝，但我就能在很大程度降低风险。有了垃圾物理上分类和垃圾识别信息后，我们垃圾处理手段也有可能发生变化，这些可以改善我们处理垃圾的生产工艺。

关联分析中，多变量交叉相关分析，数据挖掘前处理现在公司运行的业务支撑信息系统有10多个，如果到集团的层面就更多了。这些年来，系统生产了不少数据。公司的业务也比较多和复杂，据我了解，在不同的业务间做交叉分析的，还没有。可能是技术限制。其实现在很有必要做这样分析了，利用机器学习这些手段，处理这些系统数据，看看能不能产生新的资源，这些都是值得我们去探究的。有点要注意的是，大数据和机器学习这两个紧密关联的技术 和传统的BI技术是不能混为一谈的。BI技术也是在大量数据情况下，探索业务之间的关系，但是使用的是传统上的关系数据库间的算法，这些算法原理都比较简单。而机器学习，使用更加复杂和智能算法。智能化和自动化的程度是不一样的，BI技术更多是依赖于业务分析人员的经验。机器学习不依赖这个，所以适应的范围更加广。更重要的是，基于机器学习的大数据分析，其分析结果无疑要比传统BI分析结果要准确。因为传统BI分析，在大量分析时，无疑是要用到抽样技术的。我认为，经过一系列的误差积累后，对结果影响是比较大的。有一项研究表明 重新分析数据，研究结论可能完全不同，并且比例高达三分之一。见https://www.guokr.com/article/439139/?f=wx  

国内大数据在固废应用论文比较少，并且内容非常非常的一般这我的推断是，开展大数据在固废应用研究还不多，或者是 项目还是没有实质性进展。这些应用不同企业信息化。其实到现在，大家都明白，企业信息化，这是没有什么技术含量了。大数据应用，这是实打实玩技术的（看看前面我提到的大数据相关技术），并且还有很多未知内容要探索。单单在机器学习的调参数，就可以发表很多篇论文了。

三、总结，当然做任何事情，都要进行利弊分析的。前面都是说大数据和机器学习好的一面，我们很有必要从反向的角度看看。1、成功落地大数据项目不多，或者这样说，达到预期结果的不多。成功的比例我没有去查，不过很明显的是，如果能达到预期，大数据投资会更加普及。2、技术实在是比较复杂，当前这个方向技术人才紧缺，项目周期长（中小的项目2-3年是比较普遍的）。3、投入比较大，硬件上的用于大数据运算的GPU还是比较昂贵的。一个小的大数据项目，一开始投入几十万去购买硬件是很正常的。人员成本也是非常大的。即使有这样多的不利，我想公司还是要去尝试的，毕竟要试过，我们才明白实现目标的正确方向。

本文由职坐标整理并发布，希望对同学们有所帮助。了解更多详情请关注职坐标人工智能机器学习频道！