在今年的政府工作报告中，“人工智能+”首次被写入报告，同时“大力推进现代化产业体系建设，加快发展新质生产力”也被列为2024年的首项政府...
宣传一下我们的工作I-LLM，（据我们所知）这是第一个在LLM上实现了integer-only量化的方法，精度逼近浮点，超过Smooth/Omini/Affine Qua...
DISC-FinLLM 是一个专门针对金融场景下为用户提供专业、智能、全面的金融咨询服务的金融领域大模型，
看了一些关于Prefix Caching的文章，感觉没有讲得很清晰。最近正好自己也想整理一下相关的技术，因此有了本篇文章。希望结合vLLM Automa...
prompt（提示词）是我们和 LLM 互动最常用的方式，我们提供给 LLM 的 Prompt 作为模型的输入，并希望 LLM 反馈我们期待的结果。 虽然 LL...
在模型训练过程中，数据及数据处理是最为重要的工作之一。在当前模型训练流程趋于成熟的情况下，数据集的好坏，是决定了该次训练能否成...
本文内容，来自蚂蚁集团异构计算与推理引擎负责人-赵军平老师，在AICon全球人工智能开发与应用大会上的演讲ppt。
模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类...
训练后的模型会用于推理或者部署。推理即使用模型用输入获得输出的过程，部署是将模型发布到恒定运行的环境中推理的过程。一般来说，LLM...
前言多模态交互离不开硬件载体，目前国内接了大模型体验最好的开发板应该是聆思CSK6大模型开发板了，不仅官方提供了已经集成讯飞星火认...
当今移动设备上的大多数人工智能 (AI) 工作负载均可在 Arm CPU 上运行。在智能手机领域，基于 Armv9 CPU 技术构建的 AI 旗舰智能手机立...
近期大规模预训练的文本到图像扩散模型的发展显著提高了高保真图像的生成，特别是基于 Transformer 架构的扩散模型（DiTs）的出现。在这...
SWIFT支持了开源模型，尤其是中小型模型（7B、14B等）对Agent场景的训练，并将loss-scale技术应用到agent训练中，使中小模型API Call能...
本文介绍我们针对大语言模型量化的工作 IntactKV，可以作为插件有效提升GPTQ、AWQ、QuaRot等现有主流量化方法效果。论文作者来自清华大...
大语言模型很强大，就像人类的大脑一样拥有思考的能力。如果人类只有大脑，没有四肢，没有工具，是没办法与世界互动的。如果我们能给大...
5月15日，中国科技产业智库「甲子光年」在北京中关村东升科技园万丽酒店举办「AI创生时代——2024甲子引力X科技产业新风向」大会。甲子光...
但也有很多认知没有收敛：AI基础模型技术是否放缓？信仰技术还是信仰市场？Killer App（杀手级应用）如何出现？先发优势还是后发优势？...
LLM 大模型学习必知必会系列(三)：LLM和多模态模型高效推理实践1.多模态大模型推理LLM 的推理流程：多模态的 LLM 的原理：代码演示：使...
“不是我不明白，这世界变化快”，崔健在20世纪写下的这句歌词，放在公有云市场也同样适用。技术风向的变化之快，让不少人感到惊讶。
处在生成式人工智能（GenAI）技术变革的浪潮上，人们对这一将降低成本和产生利润的强大工具充满了期待。然而，ChatGPT爆火一年后，GenAI...
