В течение длительного времени велись активные дискуссии о поиске лучшей архитектуры для больших языковых моделей (LLM), которая могла бы стать альтернативой трансформерам. Похоже, калифорнийский стартап Inception Labs уже имеет перспективное решение. Компания представила Mercury — первую в мире большую языковую модель на основе диффузии, разработанную для коммерческого использования.