GoodBye 2023

启动，2023，年度小作文！
十年前，我还刚刚是一名高中生，不知道未来的图景会是怎么样的，十五岁的少年。一转眼，十个年头。有些时候还是会感慨，自己也已经成为可以以“十年”为单位来记录的人了。2023 于我而言，还是挺幸运的。这一年里，我从 P 大硕士毕业，和舍友们一同到日本毕业旅行；离开大陆，前往香港特区开始 PhD 生涯，也终于第一次出国开会，甚至拿到了 Best Paper。在这些时刻以外，还有许多日常的点滴，串成了我的2023。

毕业以及毕业旅行

毕业比想象中来的更快，但好在研究生期间的工作大多能够串到一个还说得过去的故事里，而且恰逢 ChatGPT 问世，于是就在愉快的英翻中里把毕业论文完成。送审也很顺利，根据老师们的意见做了修改后，答辩也顺利通过。至今都对这个过程感到有一些不那么真实：就这样，我就硕士毕业了？
给毕业带来实感的是我们宿舍的毕业旅行，目的地选的是日本，理由有近、机票价格合适（往返3k）、签证好搞（赶着最后在校身份下的学生签证，单次有学信网就行），同时也是@zhuoge的打卡诸多动漫取景地的好去处。线路是北京（西安转机）-东京-京都（奈良）-大阪。
西安转机途中经历了某种意义上的中转免费住宿骗局？被拉到自建房交了点钱度过了中转的夜晚，西安的烧烤还是如本科时候一样好吃，阿伟也在凌晨三点的烧烤摊上留下了“铁签烫嘴”的名场面。日本的形成中，我们在东京呆了四个晚上，京都两晚，大阪则是短短停留就走了。回过头来看还是应该多去去东京周边，东京虽说很大经典也很多，但走马观花之后的感觉就是大经典的国际化大都市，著名的银座但因为都是男生也没啥shopping的欲望，新宿秋叶原倒是适合二次元可惜我也不是，吃的总体来说也感觉性价比不高。唯一比较有意思的是一群百大学生在东大拍毕业照，碰到好多游客和我们亲切交谈，属于是东京分京了。我们坐新干线到下一站京都，沿途说是能看到富士山但似乎睡过了。另外也再次感慨原先邓小平爷爷羡慕的新干线，现在中国的高铁也毫不逊色了。整体的建筑风格，林立的寺庙都给人一种静谧的氛围，令我感觉很不错。到奈良看了看小鹿，可爱是可爱，味道也是真大（照片是闻不到的），说它们有礼貌它们会给你点头讨鹿饼，但也淘气，但凡给闻着点味就要追着屁股撅你。大阪短暂停留，逛了逛几个商圈之后，就结束了这次旅程。
回到学校之后的日子过的就更快了，好像一直都没有很正式地告别，可能是觉得不会离开的缘故罢。可惜，一转眼，就到了收拾工位打包宿舍的行李的时候，坐上飞机，我的硕士生涯，结束了。

Hong Kong & HKU-NLP

当初选择来 HK 很大程度也是因为可以减少适应环境带来的挑战，事实证明，确实如此。日常生活中大部分使用普通话就行，xhs 上也有很多的攻略，如办银行卡、身份证等，省去了很多的麻烦。学校的课程设置上我觉得比内地的博士要轻松许多，PhD 需要修 6 门导论 module（每个 Module 3 hour）+ 4 门专业课，甚至比我硕士的课时还少，因此 workload 几乎没有，可以 all in research。如我很久以前所言，我并不期望能够在课程上学到什么，但是第一学期 Dr. Tao Yu （aka 涛哥）开的高级 NLP 课还是让我感受到了信息差。P 大的 NLP 课相对而言还是有版本差距，而 HKU 至少就这门课程而言，还是在努力的向北美的课程设置看齐，尽可能让同学们讲比较新的研究，并且也会请一些 senior 的 researcher 来给 talk。这门课也是我第一次用英文讲 1.5 hour 的 presentation，属实是给哥们的破烂口语上了点强度。例如，GPT-4 说出来就变成了 GPT-四，好在同学们也都是中国人，毫无违和感之后我才意识到，哈哈 mother tongue 都给我整出来了，Lol。

HKU-NLP 在这两年势头还是很不错的，有很多优秀的同学在这边，最早我也是在 lab 感受到实验室之间的温差，国内的实验室还在 BERT 而 HKU-NLP 已经在 LLM 了，应了之前 P 大同学去 THU-NLP 开组会有进城了的感觉。这也有 CCF 指挥棒和毕业考核的压力在，HKU 这边的 target conf 就是 ML 三大会 + ACL 和 EMNLP，可以说老师们在设计之处就帮助大家过滤掉一些体验不太好的会议（没错说的就是 AAAI 和 IJCAI）。好在 P 大虽然动作稍慢一些，但目前我了解到在优秀的 senior 同学如麦哥、 Andy、Peter 、Qingxiu、Liang 等等 rising star 的引领下，也终归走上了 LLM 的道路。就我的观察而言，同学们的能力可能都不会有特别大的差距，而最终造成了为什么我们的工作相对来说更多是在 follow 而不是开创，则来自于这个跟上版本节奏的速度。所以如果让我给年轻的同学们一个建议的话，我会说请到版本更新的地方去。当然，我也相信在这样一个时代下，有很多 fundmental 的问题不用拼手速，相信也会有同学们广阔的思考和探索的空间。

EMNLP & Best Paper

狮城流水账

说来也是很奇妙，我第一次参加学术会议是 2019 年，当时就是在 HK 举办。一眨眼，硕士就毕业了，才得以第二次参加线下的学术会议。EMNLP 在新加坡，到了之后的感受就是一个HK Plus，体现在城市更加干净道路更加宽敞，整体也都是以华人为主。因为有了上一次会议的铺垫（第一次老老实实的听了许多talk 和 tutorial 但最后都发现比较 entry-level），这次参会就老油条了许多，主要的时间就是在找好吃的和找好玩的地方。新加坡必打卡的几个大件都走马观花了一波：

• 圣淘沙：会议就在这里办并且我们也算是奢侈地定了岛上的酒店，因此几个沙滩基本都逛了一遍。遗憾的是，新加坡的天气在下午总是会下雨，没有感受到阳光明媚的沙滩风情。
• 环球影城：EMNLP 又豪气地包下了环球影城半个晚上，在几乎不排队的情况下，2个小时就玩完了所有的项目。基本就是大大（刺激）小小（很慢）的过山车。火种源争夺战不如北京环球影城清楚，木乃伊倒是挺不错，不过我心中的 top-1 还是霸天虎过山车。
• 珍宝海鲜+克拉码头：和语言所的朋友们一起在新加坡暴走的一个晚上，我们去了牛车水（China Town）然后沿着街道一直走到了克拉码头，并且在策哥的预定下吃到了新加坡的国宝海鲜。辣螃蟹的给我的感受是番茄炒蛋背后躲着辣味的一个螃蟹，用汤汁拌饭能够吸收所有的精华，味道好极了，当晚波龙还打五折，只可惜蒜蓉味道太冲压过了肉质的鲜美。随后又是沿着码头散步，两岸酒吧五颜六色的灯光映着湖面，在这样的氛围下，兄弟们一致决定去喝一杯。于是很幸运的找到了一家 view 很好的酒吧 Southbridge，一起喝了一轮，尽兴！
• 鱼尾狮和金沙购物城：刚到新加坡的时候遗憾的听闻鱼尾狮在维修，被一个罩子罩住了。谁知柳暗花明又一村，在最后几天，刷 xhs （yyds）发现说它修好了，于是第二天火速前往，并且拍摄了几张搞笑的喝水照片！金沙购物城则是晚上和语言所的伙伴们再次前往鱼尾狮，然后漫步到金沙购物城，有一说一，世界上的购物中心，都长一个样（我买不起的模样）。shopping 了一些纪念品，指 TWG 茶包，结果发现机场免税更便宜，害（x

会议本身并没有什么记忆点（除了上台拿best paper），上一次还会追星，期待能和大佬们合影 or 聊聊，这次基本就是在 poster 自己找有意思的 paper 看看。讲 poster 也比 oral 更累，感觉相当于 N 个 oral （ N = 2 hour / avg introduction time）。最后整体的感觉就是，CL会议的进展已经落后几个版本了。因此以后可能还是多投投 ML 的会议，会有更多 LLM 相关的 topic。

Best Paper

回头看了一眼，发现自己中的大多数 Paper （CascadeBERT, DynamicKD, MUKI 还有这次的 VEC）都是 EMNLP (or Findings)，可能 EMNLP 就是我的快乐老家吧。这次 EMNLP 很幸运地获得了 Best Long Paper 的奖项，具体的内容就不再赘述，但可以给大家分享一下我们这个 Paper 幕后的一些故事。
Paper 的一作 Lean 是 lanco 组的师弟，北大图班的 top，大二的时候轮转来组里做研究实习生。当时我、andy 还有 zzy 师兄负责出题目，也很幸运有机会和这些学弟们合作，毕竟这波同学可能是中国最优秀的生源了 lol。一开始给 Lean 想的是沿着知识蒸馏的方向做一段时间，Lean 提了一个利用 Gradient KD 做 alignment 的思路，二阶的信息更能够刻画函数的曲率，但是因为实验效果不是特别显著，最后中了 NeurIPS workshop 的 spotlight，也算是一个很好的开端。这个 project 结束后，Lean 基本上决定来孙老师组读博。
当时我在上海 AI Lab实习，逐渐意识到大语言模型的重要性以及 In-context Learning 的选样本的挑战，于是就想着可以让 Lean 看看我们的 survey 然后讨论一下能做的方向。一开始考虑的是一个黑箱优化 demonstration 权重，但无奈地发现怎么调都很难，梯度信息对于权重至关重要。但如果必须要计算梯度，那就失去了 In-context Learning 的一个核心特点，变得 trivial 了起来。但是在实验过程中，我们在分析样本权重的时候，发现了现在 paper 里面的信息流动的一些 evidence：深层大多的 attention 都集中在样本 label word 上，而浅层的则较为分散。基于这一点，我们讨论出了目前的 label words as anchors 的猜想，并且进行了更为形式化的验证和描述。但在验证这一猜想的过程中，还存在着很多 challenge，因此也邀请了之前对 ICL 也有很多经验的麦哥来一起帮忙，麦哥毕竟还是强，给我们的讨论一下子打开了很多思路。同时 Lean 也在 Wechat AI 做了几次讨论，收获了很多建议。除了验证猜想以外，我们首先把之前的 gradient-based reweighting 作为了一个应用，并且额外想了两个用处，一个是 cache label words 做加速（也是 efficient NLP 的精神再一次发挥了），另外则是一个 error analysis 的工具。这一下，整篇文章就显得完整了很多，从 attention map 观察出发提出假设并且验证，然后基于分析的结果用效果提升、推理加速的应用进一步做验证。我们在 arxiv ddl 之前（CL 再也没有 ddl 了好耶！）挂了出去，然后在交稿的 ddl 前一周再次 polish。值得一提的是，ddl 前一晚我还在日本和舍友毕业旅行，但因为延误于是打开了 overleaf，并且和 903 的同学们一波激情讨论，再次收获了很多宝贵的建议。
分数出来的时候，好像就有一个满分还有两个也都是 4+，这种分数的rebuttal也不太难，当时我们讨论的时候就说是保A（ccept）争（Best）。考虑到前一年 ACL 有 30+ outstanding paper，我们都觉得还是挺有希望拿个奖项的。但是最终录用的时候却是 poster（即使我们申请了 oral），令我感觉似乎是不是不太可能拿奖了？谁知道 EMNLP 组委会柳暗花明又一村，在会上告诉大家所有 best paper 都是 poster，让大家不要 care 这俩的区别，真是会玩。
Best Paper 邮件比公布更早一些，当时我正在和策哥在酒店泳池游泳，上岸休息刷手机的时候发现中奖了，第一时间给策哥看看我是不是在做梦。确认真的中了之后又发给 jingjing 师姐问问是不是 final decision（毕竟她是我认识为数不多的 best paper 得主之一，lol），但看描述是大局已定。邮件里说不能提前庆祝，于是我只好跳下泳池再游了几圈平复我激动的心情。之后几天去会场，有些消息灵通的同学就会来悄咪咪地和我们对眼神，我们也只好露出意味深长的表情，掩盖自己的激动哈哈。再以后的故事，就是音乐一响，上台领奖啦。

Research

Research 方面，最近的几个工作聚焦在为构建大规模的 MLLM 做数据的准备上，包括 instruction tuning 的数据集 M3IT，以及最近刚放的 VLFeedback DPO 数据集。大体上的预期是这些工作多少能够为未来的多模态模型提供一些帮助，至少我个人还是蛮喜欢用自己的这几个数据集来做一些工作的。在这以后，多模态模型会往哪走？至少我个人觉得架构层面逐渐走向统一，oai 的 GPT4V 除了模型以外，更多的功夫应该在数据层面，毕竟压缩即智能的前提是有足够好的数据（输入端和输出端的分辨率足够高）来做 alignment。至于剩下的，就交给时间。

Future

展望 2024（虽然写的时候已经是 2024 的一月底了哈哈），希望能在 research 以外的自我游戏中有更多的收获。包括但不限于:

• 阅读: 去年微信读书上读完了 27 本书，印象里是为了冲刺一波 50 本勋章读了不少短篇科幻，记忆比较深刻的就是《带上她的眼睛》，推荐给某人之后也觉得特别美，大刘除了科幻以外，更令人折服的是他细腻的内心。还有很多书都是囫囵吞枣，跳着阅读，这是读书习惯上的一个很大的变化，以前觉得书一定要逐字逐句读完，现在逐渐习惯了看目录-挑有趣的章节-想想问题作者有没有答案-到结尾这样一个顺序来加快阅读，小说类的除外。如果让我推荐几本年度书籍的话，我会不能免俗地推荐《太白金星有点烦》以及《纳瓦尔宝典》。希望新的一年，继续开卷有益。
• 写作: blog 上 2023 年只更新了三篇文章，两篇随笔一篇技术向的文章，属实是比之前产出的少多了。你问我想写吗，我是想写的，但是太懒了，而且感觉每年写论文已经把人的表达欲都压制的差不多，但这样不好。新的一年姑且定一个 4 篇技术写作文章的目标罢，笔耕不辍。
• 锻炼: 在毕业季的时候逐渐养成了去健身房的习惯，虽然总的来说是三天打鱼两天晒网，但总归是知道器械都应该怎么用，训记 app 还蛮好用的，动作库丰富并且计划也简单明了，hk一顿饭钱就能终身买断，更加让我觉得非常划算。比较困难的学校的健身房近的人多，远的通勤起来不方便，准备探索附近的健身房看看能不能找到一个这种的方案。足球踢的不多，主要是和宿舍球队的养生足球，纯纯快乐出汗，倒也不错。跑步的话着海跑步的感觉很好，逐渐爱上这样一种运动，只是配速始终不快，希望能够有机会把跑量提上去，尝试一次半马。
• 理财: 大 A，我们对你爱得深沉，你却如此对我。我只能说，永远满仓，永远热泪盈眶了。为了以后能够更好地帮助大 A，我决定以后买崩美股，助力我国资本市场！！
  怎么随笔碎碎念也这么难写，以后要设计一个 scaling law 来拟合一下年龄和表达欲的函数了（x
  祝大家新年快乐！