注意是“部署”调优，不是“性能”调优！因此本文与底层Kernel如果优化等无关，主要关注应用层面。本文记录一些使用TensorRT-LLM过程中，对...
很多生物由于外形的相似程度较高，难以使用肉眼进行区分。美国俄亥俄州立大学、微软研究院、加州大学欧文分校、伦斯勒理工学院共同发布...
在华为开发者大会（HDC）2024，我向来自全国各地的多位开发者提过这个问题,得到的答案不尽相同，其中有一个让我印象深刻。
Kolmogorov Arnold Networks (KAN)最近作为MLP的替代而流行起来，KANs使用Kolmogorov-Arnold表示定理的属性，该定理允许神经网络的激活...
近日，纽约大学计算机科学助理教授、Yann LeCun 的学生——Alfredo Canziani 公开了自己的春季「AI 课程」，内容覆盖离散概率和朴素贝叶斯...
作为细胞内无数生化反应的驱动力，蛋白质在细胞微观世界中扮演着建筑师和工程师的角色，不仅催化着生命活动，更是构筑、维系生物体形态...
长上下文大型语言模型（LCLLMs）确实引起了一些关注。这类模型可能使某些任务的解决更加高效。例如理论上可以用来对整本书进行总结。有...
在上一章，我们完成了ttir->ttgir的过程分析，重点在于理解其中用到的数据结构和流程。有了上面的基础，我们理解接下来的内容会非常...
在东海之滨，曹操写下了脍炙人口的《观沧海》：“东临碣石，以观沧海。水何澹澹，山岛竦峙。树木丛生，百草丰茂。秋风萧瑟，洪波涌起。日...
在开发者群落中，有南北向开发者的说法。北向开发者相对专注于软件应用，南向开发者则致力于硬件设备。按理说，南北向必须打通才能完成...
从小生活在鄂尔多斯市准格尔旗三宝窑村的肖存海，如今对家园有了新的印象。村子附近曾经满是沟壑纵横，满眼荒芜的矿坑。如今，这些大地...
OpenAI在6月25日凌晨宣布，将从7月9日起，将阻止来自不支持其服务的国家和地区的API流量，而中国也在禁用名单之列。
Triton的存在使得编写针对特定Target的算子的难度大大降低，相比于以往暴露更多硬件细节的编程方法，Triton编程提供了更加简洁的python...
虽然有许多用于目标跟踪的算法，包括较新的基于深度学习的算法，但对于这项任务，粒子滤波仍然是一个有趣的算法。所以在这篇文章中，我...
每个数据科学爱好者都知道，时间序列是按一定时间间隔收集或记录的一系列数据点。例如，每日温度或经济指标的月值。把时间序列想象成不...
近日，北京智源大会「AI for Science」分论坛上，清华大学智能产业研究院副研究员周浩以「面向科学发现的生成式人工智能」为主题展开演...
公元12世纪，伴随着指南针技术从中国传至欧洲。马略卡、巴塞罗那等地的航海家，开始结合方位学、地理学、天文学知识，以及自身航海经验...
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战1.环境准备GPU设备: A10, 3090, V100, A100均可. {代码...} 2.推...
最近在整理先前实习做的一些工作，主要是对AI compiler做基于mlir的重构，以下是之前写的compiler frontend的一个比较基础的pass，针对...
LLM 大模型学习必知必会系列(八)：10分钟微调专属于自己的大模型1.环境安装 {代码...} 2.微调前推理使用python: {代码...} 如果你要进行...
