在计算图形学领域，材质外观刻画了真实物体与光线之间的复杂物理交互，通常可表达为随空间位置变化的双向反射分布函数（Spatially-Varying Bidirectional Reflectance Distribution Function，缩写为 SVBRDF）。它是视觉计算中...
目前生成模型有好几种，包括 GANs 和 likelihood-based models 等，目前在生成任务上，依然是 GANs 取得最好的效果，但 GANs 难以训练和扩展，限制了其应用。虽然 diffusion model 近几年有了大的发展，但在生成任务上，比较 GANs ...
今年大语言模型的快速发展导致像BERT这样的模型都可以称作“小”模型了。Kaggle LLM比赛LLM Science Exam 的第四名就只用了deberta，这可以说是一个非常好的成绩了。所以说在特定的领域或者需求中，大语言模型并不一定就...
今年 4 月 7 日，斯坦福大学发表的《Generative Agents: Interactive Simulacra of Human Behavior》论文出来之后的几天内，我就通读了整篇论文，并感到非常兴奋。虽然我对 GPT-4 的能力感到震惊，但我仍然认为 GPT 只是某种...
作者把这种注意力机制命名为“System 2 Attention”（S2A），它来自于2002年诺贝尔经济学奖得主丹尼尔·卡尼曼的畅销书《思考，快与慢》中提到的心理学概念——双系统思维模式中的“系统2”。...
今天为大家介绍的是来自Mario Krenn团队的一篇论文。一个能够通过从科学文献中获取洞见来建议新的个性化研究方向和想法的工具，可以加速科学的进步。一个可能受益于这种工具的领域是人工智能（AI）研究，近年来科学出版物的...
论文名称：A Survey of Graph Meets Large Language Model: Progress and Future Directions
经过了大量炼丹的同学都知道，超参数是一个非常玄乎的东西，比如batch size，学习率等，这些东西的设定并没有什么规律和原因，论文中设定的超参数一般都是靠经验决定的。但是超参数往往又特别重要，比如学习率，如果设置了一个太大...
在上一篇文章中，我们已经科普了什么是自然语言处理（NLP）、常见用例及其与向量数据库的结合。今天，依然是「X」Embedding in NLP 系列专题，本文为初阶第二篇，我们将深入介绍在 2023 年爆火的大语言模型 NLP 模型，包括 BERT、X...
