Qwen3技术报告揭示了其背后的关键技术，包括双模式架构设计，使得一个模型能够同时处理推理和非推理任务，并根据需要自动切换。训练和微调过程采用分段式策略，逐步增强模型能力。此外，Qwen3采用了“大带小”的蒸馏模式，通过大模型生成高质量数据来训练小模型。Qwen3系列包括6个密集模型和2个MoE模型，参数量从0.6B到235B不等。核心创新在于其双重工作模式，即思考模式和非思考模式的融合，通过引入“思考预算”概念，模型能够根据问题复杂度动态分配计算资源。预训练和后训练均采用多阶段策略，逐步提升模型的语言理解、生成和推理能力。