利用大型语言模型编码增强AI模型训练中的建筑语义保留

准确表征建筑语义，包括通用对象类型和特定子类型，对于在建筑、工程、施工和运营（AECO）行业中有效训练AI模型至关重要。传统的编码方法（例如，独热编码）往往无法传达密切相关子类型之间的细微关系，限制了AI的语义理解。为了解决这一局限性，本研究提出了一种新的训练方法，该方法采用大型语言模型（LLM）嵌入（例如，OpenAI GPT和Meta LLaMA）作为编码来保留建筑语义中的更细微的区分。我们通过训练GraphSAGE模型来对五个高层住宅建筑信息模型（BIMs）中的42种建筑对象子类型进行分类，评估了所提出的方法。测试了各种嵌入维度，包括原始的高维LLM嵌入（1,536、3,072或4,096）以及通过Matryoshka表示模型生成的1,024维压缩嵌入。实验结果表明，LLM编码优于传统的独热基线，其中llama-3（压缩）嵌入实现了0.8766的加权平均F1分数，而独热编码为0.8475。这些结果强调了利用基于LLM的编码来增强AI解释复杂、特定领域建筑语义能力的前景。随着LLM和降维技术的不断发展，这种方法在AECO行业的语义细化任务中具有广泛应用的巨大潜力。