作者 | Nicola Melluso编译 | VK来源 | Towards Data Science

过去十年深度学习的发展，极大地推动了多媒体领域视觉与语言之间跨模态分析的进步。然而，目前还没有一个开源的代码库以统一和模块化的方式来支持训练和部署跨模态分析任务的神经网络模型。在这项工作中，作者提出了X-moda...

在本文中，作者提出了VX2TEXT，一个用于从“视频+X”（X代表文本、语音或音频等）的多模态输入来生成文本 的框架。为了利用Transformer网络，每个模态首先由可学习的 tokenizer转换为一组语言embedding。...

导读：本文目标是对近期火爆异常的Prompt相关研究作一些追溯和展望，内容主要参考论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》，并掺杂了笔者的一...

该示例演示了如何构建一个双编码器（也称为双塔）神经网络模型，以使用自然语言搜索图像。该模型的灵感来自于Alec Radford等人提出的CLIP方法，其思想是联合训练一个视觉编码器和一个文本编码器，将图像及其标题的表示投射到同...

模糊匹配是日常工作中经常遇到的问题。比如我们手上有一份多家上市公司的利润表（每行为一家公司）和一份这些公司的现金流量表（同样一行一家公司），但由于种种原因（比如利润表的公司名称是简称，而现金流量表的公司名称是全称）导...

自然语言功能的加强。在这之前，问答的Web端入口在仪表板，不能与报表层交互，也不能存储问题；Desktop端双击提问虽然很灵活，但是只服务于分析师，无法惠及报告阅读者。...

算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，算法代表着用系统的方法描述解决问题的策略机制。

美团的各个业务有着丰富的NLP场景，而这些场景中模型的构建需要很多的标注资源，成本很高。小样本学习致力于在数据资源稀少的情况下训练出比较好的模型。本文从主动学习、数据增强、半监督学习、领域迁移、集成学习&自训...

文摘菌记得小时候看《哈利·波特》小说的时候，最难记住的就是那些音译的名字，又长又多，最后只能关注那几个主要人物，跟着主要剧情一路过去，当个爽文看完了。...