近日,PyTorch 官方分享了如何实现无 CUDA 计算,对各个内核进行了微基准测试比较,并讨论了未来如何进一步改进 Triton 内核以缩小与 CUDA 的差距。 在做大语言模型(LLM)的训练、微调和推理时,使用英伟达的 GPU 和 CUDA 是常见的做法。在更大的机器学习编程与 ...
今天,谷歌在 Cloud Next '26 峰会上发布了其第八代 TPU 架构(TPU 8t 与 TPU 8i),TPU 8t 主攻训练,TPU 8i 主攻推理,将在 2026 年晚些时候上市。第八代 TPU 采用申请制,Google Cloud ...
PyTorch公开2024 H2发展路线图,增透明度。 【导读】最近,PyTorch团队首次公布了开发路线图,由内部技术文档直接修改而来,披露了这个经典开源库下一步的发展方向。 如果你在AI领域用Python开发,想必PyTorch一定是你的老朋友之一。2017年,Meta AI发布了这个机器 ...
【新智元导读】用英伟达的GPU,但可以不用CUDA?PyTorch官宣,借助OpenAI开发的Triton语言编写内核来加速LLM推理,可以实现和CUDA类似甚至更佳的性能。 试问,有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰? 又有多少开发者曾因为频频闪烁的警报「 ...
11 月 6 日,PyTorch 创始人 Soumith Chintala 宣布将卸任框架负责人,并离开他就职 11 年的 Meta。 11 月 6 日,PyTorch 创始人 Soumith Chintala 宣布将卸任框架负责人,并离开他就职 11 年的 Meta。这标志着全球最受欢迎的开源深度学习框架之一,进入新的领导阶段。 Chintala 在 ...
Hexagon‑MLIR是高通技术公司提供的开源AI编译器软件栈,确保用户能够在Hexagon NPU(为高性能、高效AI和生成式AI载荷构建的一款专用AI加速器)上轻松编译和运行Triton内核与PyTorch模型。 此项举措通过探索基于开源MLIR的编译软件栈来补充本公司的商业工具链,为 ...
导语:本书适用于自然语言处理(NLP)和深度学习的新手学习两个领域中的一些重要的知识点。这两个领域研究热点都呈指数增加。由于本书强调深度学习和自然语言处理中的代码实现 本书适用于自然语言处理(NLP)和深度学习的新手学习两个领域中的一些重要的知识点 ...
PyTorch,这一广受欢迎的开源机器学习框架,近期正式推出了其最新版本——2.8版。此次版本更新聚焦于提升量化大语言模型(LLM)在Intel CPU上的推理性能,吸引了众多开发者和研究人员的目光。 在PyTorch 2.8中,开发者团队通过算法优化和技术革新,显著提高了 ...
有人将快速可微分排序算法打包实现,性能还不错。 谷歌去年年初在论文《Fast Differentiable Sorting and Ranking》中,重磅推出了首个具有 O(nlogn) 时间复杂度、O(n) 空间复杂度可微分排序算法,速度比现有方法快出一个数量级! 近日,有人在 GitHub 上开源了一个项目 ...