回放视频和PPT在最后面。
image-20210316220952405
KDD联合OGB等一众大佬(见下图)组织了KDD Cup 2021, 这是一场关于大规模图机器学习的竞赛。
image-20210316221359193
含金量很高,能刷到榜一的可以说是地表最强图神经网络。比赛项目涵盖了各种图机器学习任务,包括节点级别,边级别和图级别。
为了方便大家上手参加OGB竞赛,我们组织了如下的直播分享:
KDD Cup OGB赛题讲解/新手包/前榜一经验分享
KDD Cup & OGB竞赛 赛题讲解/新手包/前榜一经验分享,安排如下:
- DGL 甘全:赛题介绍,新手包介绍
- KAUST 李国豪:模型,榜一经验介绍 (OGB涨点技巧)
- UCLA 胡子牛:模型,榜一经验介绍
- 南大 刘子腾:化学相关的赛题,知识和模型
- 清华 关超宇:AutoGL,自动图机器学习,大规模数据怎么调参
个人介绍& 主题介绍
DGL 甘全
甘全,亚马逊上海AI研究院应用科学家。研究方向为大规模图网络上深度学习的模型研究与系统开发。图神经网络框架DGL的核心开发成员之一。此前在复旦大学获得本科学位,并于纽约大学获得硕士学位。
本次主讲OGB KDD Cup 2021的基线模型介绍与训练感受。大纲如下:
- OGB KDD Cup 2021任务简介与数据探索
- 节点分类 - MAG240M
- 知识图谱补全 - WikiKG90M
- 分子性质预测 - PCQM4M
- DGL OGB新手包,包括模型介绍、训练感受与硬件配置
- 节点分类 - RGAT模型介绍
- 知识图谱补全 - DGL-KE介绍
- 分子性质预测 - GIN/GCN介绍
KAUST 李国豪
李国豪,阿卜杜拉国王科技大学(KAUST)在读计算机科学博士生,是Bernard Ghanem教授领导的IVUL实验室成员之一。曾在商汤科技、Intel ISL实习。目前主要研究兴趣为图深度学习,计算机视觉和机器人学习。相关工作发表于国际会议期刊RSS,ICCV,CVPR和TPAMI。
大纲:
- DeeperGCN模型介绍和设计经验
- OGB提点技巧
Github: https://github.com/lightaime/deep_gcns_torch/tree/master/examples/ogb
注:DeeperGCN在ogbn-products上霸榜了三个月!
UCLA 胡子牛
胡子牛,UCLA博士三年级,导师Yizhou Sun。研究方向是图与符号推理。
主要分享内容:
- HGT模型介绍及图采样算法
- Generative and Contrastive 图预训练
南大 刘子腾
刘子腾,南京大学化学化工学院理论与计算化学研究所(ITCC)博士研究生,导师是马晶教授,研究方向为利用机器学习研究分子与材料的电子结构性质,曾获得Alchemy Contest比赛冠军,在JCIM、AM、Chem等期刊上发表SCI论文10余篇。
本次报告中将简单介绍:
- 包含QM9、Alchemy和OGB/PCQM4M-LSC等在内的多个量子性质分子图数据集
- 分子电子结构性质中HOMO-LUMO能隙模拟有关的量子力学理论
- 一种结合物理描述符与“注意力”机制的新型图卷积神经网络算法DeepMoleNet(Alchemy算法比赛冠军方案)。
img
清华 关超宇
关超宇,清华大学硕士二年级,朱文武教授研究生,AutoGL开源库(https://github.com/THUMNLab/AutoGL)主负责人。研究方向为神经网络架构搜索、自动机器学习与NLP数据、图数据应用。目前以一作身份发表NAACL、ICML等A类会议论文2篇,AAAI、ICLR等workshop2篇。多次带队参与AutoML相关竞赛,曾获NeurIPS AutoWSL挑战赛亚军、AAAI MetaDL挑战赛冠军。2020.06开始主导AutoGL开源库的构建、维护工作,目前star 600 。
此次主题分享的主要内容为开源库AutoGL的简要介绍与实践,内容主要包括:
- AutoGL框架概览
- 各模块支持的方法介绍
- 安装、使用方法