模型有 2 亿个参数,fp32 精度下理论上只需 800 MB。为什么 24 GB 的 GPU 却满了?原因在于模型参数只是训练期间占用 GPU 内存的七种因素之一。了解这七个原因才能从靠猜转变为凭工程的判断。 所以保守估计总计,一个"理论上"只需 800 MB 的模型,实际要占用 5–8 GB。
# you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 ...
There was an error while loading. Please reload this page.
一些您可能无法访问的结果已被隐去。
显示无法访问的结果