带你读论文第九期：北邮博士张梦玫讲图模型对齐大语言模型！

 Datawhale论文 

来源：WhalePaper，负责人：芙蕖

WhalePaper简介

由Datawhale团队成员发起，对目前学术论文中比较成熟的 Topic 和开源方案进行分享，通过一起阅读、分享论文学习的方式帮助大家更好地“高效+全面+自律”学习，让大家都有所收获和提升！方向包括自然语言处理（NLP）、计算机视觉（CV）、推荐（Res）等相关方向的论文解读和分享，后续将融入更多的方向。开源地址：https://datawhalechina.github.io/whale-paper

本期活动

会议概况

International World Wide Web Conference（又称The WEB Conference，简称WWW）是由国际万维网会议委员会发起主办的顶级国际学术会议，创始于1994年，每年举办一届，是CCF-A类国际学术会议。

嘉宾简介

张梦玫，电信翼支付高级技术专家，博士毕业于北京邮电大学，目前研究方向为金融风控、大模型、知识图谱以及可信图神经网络，相关工作发表在顶级会议WWW，AAAI，ICDM，NeurIPS，USENIX，并担任相关会议审稿人。

论文详情

论文题目：

GraphTranslator:
Aligning Graph Model to Large Language Model for Open-ended Tasks

分享方向：图模型对齐大语言模型

论文简介：

图模型（GM）如图神经网络（GNN），利用节点特征和图结构来学习表征并预测，在多种领域表现出色，但GM通常局限于预定义任务如节点分类，难以适应新的类别和任务。而大型语言模型（LLM）如ChatGPT，在处理开放式任务和理解自然语言指令方面显示了巨大潜力，推动了跨模态研究的发展。最近，将LLM应用于图的工作可分为两类：（1）利用LLM以其海量知识增强节点的文本属性，然后通过GM生成预测；（2）或者是将节点以token或文本的形式，直接输入给LLM来作为独立的预测器。然而，这些方法无法同时解决处理预定义的任务和开放式任务。这就很自然地提出了一个问题：「我们能否在图学习领域建立一个既能解决预定义任务又能解决开放式任务的模型？」本文提出一个名为GraphTranslator的框架，结合预训练的图模型(GM)与大型语言模型(LLM)来处理预定义和开放式任务。GraphTranslator中的「Translator」模块负责将图节点嵌入转换为LLM可理解的token嵌入，通过学习graph queries来提取语言信息并适配LLM。为应对数据对齐挑战，我们开发了「Producer」模块，利用LLM生成节点嵌入和文本描述的配对数据，并文本化节点信息。训练后，带有Translator的LLM能处理各种开放式任务。

论文地址：
https://arxiv.org/pdf/2402.07197.pdf

会议链接：
https://meeting.tencent.com/dm/CJ5k7ZNXVKMx

分享时间：2024年3月30日（周六）20点

进群参与

群满在公众号后台回复“paper”

一起“点赞”三连↓