大模型好用但是太费电:)为了降低能源消耗,促进节能减排,我们和华为合作推出一个针对高效模型(特别是动态退出模型)的测试基准ELUE,希望大家能够关注绿色高效NLP模型,在追求性能的同时减少模型计算量。
ELUE既是一个标准化评测工具,也是一个数据开源平台,还包括了一个适用于此类模型的排行榜。 ​​​​...展开全文c
升级版中文BART来了[笑脸]介绍一个我们和之江实验室合作的预训练模型CPT。在中文预训练方面有很多模型要么遵循BERT,要么遵循GPT的架构和预训练任务。一个面向理解,一个面向生成。但在实际使用中,BART是一个比GPT更有效、使用更多的生成模型,但在中文社区却没有受到足够的重视。因此,我们预训练了 ​​​​...展开全文c
  • 长图
预训练模型之后,越来越多的自然语言处理任务趋向于统一的范式,比如匹配范式、MRC范式、Seq2Seq范式。我们最近整理NLP中范式迁移现象,并总结了可能一统所有NLP任务的潜在统一范式。具体关注论文《Paradigm Shift in Natural Language Processing》O网页链接 欢迎关注并提出意见[抱拳] ​​​​
[good][good][good]
为我们实验室的孩子们点赞👍,又一次摘得国内顶尖的官方比赛“全国大学生信息安全竞赛创新实践能力赛总决赛”的全国总冠军🏆!为了锻炼队伍,这次决赛我们派出的四位同学都是低年级学生,首次代表“复旦白泽”战队正式出战,即实现蝉联桂冠。江山代有才人出,各领风骚数百年! ​​​​
祝贺!
昨天早上突然接到校长电话,午饭都没顾上。然后下午就收到了校教授人事委员会的邮件。工作五年后总算获得了终身教职。非常侥幸!感谢实验室全体同学、合作老师、同事们、朋友们、家人们的支持!希望以后能思考更难的科学问题,承担更多责任,多做贡献。🎉🎉🎉 ​​​​
#自然语言处理##汇报一下我们最近的工作。针对细粒度情感分析(ABSA)提出一个统一的生成式框架,可以用一个模型来同时解决七个ABSA子任务。模型简单易实现,在三个数据集的七个子任务都达到目前最好的结果。
O网页链接 ​​​​
[good][good][good]//@唐杰THU:赞//@老师木:新鲜出炉的 大规模预训练模型 综述。//@zibuyu9: 我看了下,微博上的作者有 @唐杰THU @邱锡鹏 @赵鑫RUC @老师木 有没有漏的?[打call]
#预训练模型# 2021年1月初在CCF启智会支持下,文继荣、唐杰和黄民烈三位老师召集了以预训练模型为主题的闭门研讨会,此后22位老师和同学经过近半年准备,共同形成了这篇43页的综述和观点文章 Pre-Trained Models: Past, Present and Future,下载地址:O网页链接 不仅包括PTM历史和现状的总 ​​​​...展开全文c
zibuyu9邱锡鹏快转了
//@刘群MT-to-Death:还有年兽什么的,都是伪民俗,极其可恶[怒]//@花落成蚀: 一年一转//@考古君:每年都要解释,也是心累//@貓大夫飛觴醉月高臥翻書:今天,还有小朋友,试图纠正我……真的,就是吧,我知道接受了“安康”说的朋友,其实心意都是好的,但是,不要让好的心意,被洗脑包给懵了。
之所以每年都抵制“端午安康”,是因为我(也包括绝大多数人)亲眼看着这个怪论在网络冒出然后迅速弥漫到全社会,除了以年轻人为主的各种社交平台外,从中老年人的朋友圈到在校学生的QQ空间乃至各种商业宣传几乎全面“沦陷”,这已经不仅仅是一个单纯的说什么祝福语的问题了。
每次一说“端午节快乐” ​​​​...展开全文c
这届网友确实有才,又遇到了层出不穷的素材。 L杨珉_复旦大学的微博视频 ​​​​
转发微博
实验室同学写了悟道模型的底层算法,FastMoE: A Fast Mixture-of-Expert Training System,O网页链接 是实现万亿模型的助力器,源代码也开放了,大家可以玩一玩 ​​​​

正在加载中,请稍候...