假设经常使用fluid.CUDAPlace指定了全局的运转设施，飞桨将会智能把允许GPU计算的OP调配在GPU上口头，但是当模型参数量过大并且显存有限时，很或许会遇到显存超出的状况。如上方的示例代码，embedding层的参数size蕴含两个元素，第一个元素为vocab_size(词表大小)，第二个为emb_size（embedding层维度）。实践场景中，词表或许会十分大。示例代码中，词表大小被设置为10,000,000，该层创立的权重矩阵的大小为(10000000, 150)，仅这一层就须要占用5.59G的显存。假设再加上其余的网络层，在这种大词表场景下，很有或许会显存超出。
本网站的文章部分内容可能来源于网络和网友发布，仅供大家学习与参考，如有侵权，请联系站长进行删除处理，不代表本网站立场，转载联系作者并注明出处：https://duobeib.com/diannaowangluoweixiu/5586.html
咚波服务与支持