中国队伍包揽前三 PAKDD 2019 AutoML挑战赛圆满落幕

    近日，亚太地区数据挖掘领域的顶级国际会议——第23届亚太地区知识发现与数据挖掘国际会议（Pacific Asia Knowledge Discovery and Data Mining，PAKDD）在澳门成功举行。本次大会，南京大学人工智能学院院长周志华首先做了开幕致辞，第四范式首席科学家杨强教授、普渡大学副教授 Jennifer Neville、罗格斯大学大学终身教授熊辉、罗维拉·维尔吉利大学名誉教授 Josep Domingo-Ferrer等知名科学家先后在现场分享了对于知识挖掘领域最新的思考与技术进展。除此之外，大会另一个重要看点是由第四范式、ChaLearn、微软、亚马逊联合举办的“PAKDD 2019 AutoML Challenge”挑战赛，现场公布了大赛最终成绩并举行了颁奖仪式，深兰科技 DeepBlueAI 、微软亚洲研究院、北航组成的ML Intelligence以及清华大学的 Meta_Learners 三只来自中国的队伍包揽了本次比赛前三名，充分展示国内在AutoML研究领域的实力。

    据悉，本次AutoML大赛共吸引了全球127支队伍参加，提交超550个竞赛方案，最终有31支队伍进入决赛进行最终的比拼。比赛共分为Feedback phase、Test phase、AutoML phase三个阶段，最终成绩按照AutoML phase的AUC结果进行评估排序得出，前三名成绩排序在Feedback phase、AutoML phase两个阶段均一致。

    本次比赛题目是贴近实际应用的终身自动机器学习（AutoML for Lifelong Machine Learning），旨在解决实际应用过程中，数据分布不断变化的动态环境给自动化机器学习带来的难题。在设计能够自主实现终身机器学习的方案中，需兼顾计算效率、多种特征类型、概念漂移（Concept Drift）、终身机器学习设定等诸多挑战。

    以本次大赛冠军DeepBlueAI方案为例，囊括了自动特征工程、自动特征选择、自动模型调参、自动模型融合等步骤的AutoML框架，并对数据类别不均衡、概念漂移、时间空间等方面进行了针对性的处理和优化，同时也有针对性的对概念漂移问题进行处理，并且利用了多种策略对运行时间和运行内存进行了有效的控制，以确保解决方案能在规定时间和有限内存下完成整个流程，并最终在挑战赛中脱颖而出。

    除了DeepBlueAI外，ML Intelligence本次参赛方案也提供另一类的方法，我们都知道AutoML系统从每一批数据的输入到每一批的输出，实现端到端的自动化，完全不需要人参与，其中核心是自动算法，包括自动配置，自动调参，自动特征衍生和自动筛选等。本次竞赛方案中，ML Intelligence为了能适应一个长时学习和在线学习的场景，能够适应特征或者样本的概念漂移，提出了一种基于模型的808del based)的方法，这与传统的基于分布(distribution based)的概念漂移检测方法不同，不需要用人的经验来做一些分布指标就能够实现漂移特征的自动检测。实际操作是训练一个特别简单的GBDT模型，来区分两个时间窗的样本，通过特征重要性排序来排序分布偏移的大小。然后为了适应场景，对高阶衍生特征和原始重要特征做了不同的处理。

    另外，Meta_Learners团队本次设计了一套基于梯度提升树（Gradient Boosting Tree）、概念迁移自适应的自动机器学习（AutoML）系统。在传统AutoML框架基础上，结合本次比赛的特点进行了针对性的设计。首先，在特征工程方面针对类别特征高基数、长尾分布的特点采用了频数编码；并设计了自动特征工程模块，可以针对不同数据集的特点，高效地提取出有助于提升模型预测效果的多种特征组合；在概念迁移自适应方面，采用自适应的流式协同编码技术，提高数据集的表征一致性，从而提升了预测性能。在超参数调节上，团队设计了一种结合了先验知识和自动搜索的层次化自动调参策略，从而保障整个系统运行的效率和鲁棒性。

    对于本次挑战赛取得成绩以及方案效果，大赛负责人、第四范式资深算法科学家涂威威表示：尽管大赛周期覆盖了中国春节假期以及学生的期末放假时期，整个参赛队伍的提交量依然超过了去年的NeurIPS的AutoML比赛，大家竞争非常激烈；同时，由于NeurIPS 2018的冠军队伍也公布了他们的方案，我们也看到这一届的前三效果都远远超出了NeurIPS 2018年的冠军解决方案效果；在整体方案上，这次前三在时序特征处理、不平衡数据处理以及对概念漂移问题的处理相比NeurIPS AutoML的解决方案都有了非常多的创新与进步。未来希望大家更积极踊跃参加今后的AutoML比赛，共同推动AutoML技术在AI产业中落地和应用。

    近年来，AutoML学术研究和应用逐渐从前沿研究迈入了行业主流发展的阶段，越来越多的研究机构和企业都纷纷开始AutoML的研究工作，以国外ChaLearn、Google和国内第四范式为代表的AutoML先行者则不遗余力推动行业发展和应用落地。PAKDD 2019 AutoML挑战赛是今年AutoML的首场挑战赛，接下来会迎来今年KDD CUP 2019 AutoML和 NeurIPS 2019 AutoDL两场AutoML年度大赛，其中KDD CUP是首次举办AutoML挑战赛，不仅开创了该项赛事22年历史的先河，更印证了AutoML进入学术研究和行业应用的上升期。

    值得欣慰的是，AutoML在国内的发展一直处于领先水平，在以第四范式为代表国内AI企业的积极带动和默默耕耘下，一方面将技术研究成果迅速落地实际生产应用，另一方面与海外顶级学术组织联合，在全球范围内的顶级会议中组织AutoML竞赛，大力推动行业发展，成为了AutoML技术身后最坚定有力的支持者。本次PAKDD 2019 AutoML竞赛前三名被中国队包揽，充分展示了中国在AutoML领域的示范力量。