13
01
2024
减少Transformer秩数以提高性能，同时保持移除特定层90%以上组件LLM不减少
麻省理工学院和微软进行了联合研究，发现不需要额外的训练即可提升大型语言模型的任务性能，并减小其大小在大型模型时代，Transformer以其独特的能力支撑起整个科研领域。自推出以来，基于Transfo...
28
12
2023
Transformer模型降维减少，移除90%以上特定层的组件时，LLM性能保持不变
在大型模型时代，Transformer独自支撑起了整个科研领域。自从发布以来，基于Transformer的语言模型在各种任务上展现出了出色的性能，在自然语言建模和推理方面的底层Transformer架...
15
12
2023
一文总结特征增强&个性化在CTR预估中的经典方法和效果对比
在CTR预估中，主流都采用特征embedding+MLP的方式，其中特征非常关键。然而对于相同的特征，在不同的样本中，表征是相同的，这种方式输入到下游模型，会限制模型的表达能力。为了解决这个问题，CT...