3年后被挖掘：BERT、GPT-2等都在用的激活函数

至少在NLP领域里，GELU已经成为了众多业内最佳模型的选择。作为决定神经网络是否传递信息的「开关」，激活函数对于神经网络而言至关重要。2019-12-31 14:31