我要投稿

成果分享 | “读懂地图”的多模态大模型MapReader

发布日期：2024-09-30 07:19:03 浏览次数： 3289

作者：地图可视化

微信搜一搜，关注“地图可视化”

“读懂地图”的多模态大模型MapReader

01

成果负责人

禹文豪，中国地质大学（武汉）地理与信息工程学院，教授，博士生导师，主要从事地图综合、空间数据挖掘及大模型等研究。（联系邮箱：[email protected]；个人网站：

http://grzy.cug.edu.cn/yuwenhao/zh_CN/index.htm）

02

系统演示链接

网址：https://www.bilibili.com/video/BV1dpszeoEew（点击左下“阅读原文”可直接访问）。

03

成果介绍

比较自然图片，地图在符号、文字注释、幅面等方面均有其特殊性，一般大模型难以理解其高度抽象的表达形式和内容，亟需建立专业的地图分析大模型与软件系统。MapReader是一个用于地图分析的大型视觉语言模型，在识别地理对象及其空间关系等方面取得了显著改进，其可提供比一般视觉语言模型更详细的地图内容描述。该模型的参数规模为17B（170亿），主要由两个核心组件构成：Vision Transformer (ViT) 编码器和预训练的大型语言模型（LLM）。ViT负责接收图像数据并将其处理为视觉特征，而LLM则利用这些视觉特征和文本嵌入生成符合要求的文本。在此过程中，我们使用EVA2-CLIP-E作为ViT编码器，Vicuna1.5-7B作为LLM。为了使模型适应地图领域，我们收集了2000对高质量的地图文本对数据进行微调。训练策略采用了LoRA微调，将LoRA应用于ViT和LLM。ViT中的附加分支通道旨在增强大模型对地图样式的理解，而LLM中的附加分支通道则专注于学习专业地图描述的风格。具体而言，LoRA被应用于ViT编码器的每个Transformer层，以及LLM中的Q、K和V矩阵和多头自注意力层。这一策略有效减少了训练所需的参数数量，从而降低了计算成本。MapReader处理的最大目标长度为2048个tokens。预训练过程在4个A100 GPU上进行。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-03

多模态文档智能解析最新开源进展：GLM-OCR方法概述

2026-02-02

月之暗面Kimi正式发布官方编程工具：Kimi Code

2026-01-30

用AI做深度用户访谈，获蓝驰、高瓴、王慧文投资

2026-01-29

DeepSeek-OCR 2重磅发布:让AI像人一样读懂复杂文档

2026-01-28

LingBot-Depth 正式开源：让机器人“看清”物理世界

2026-01-28

一文带你读懂DeepSeek-OCR 2的细节！附实测！

2026-01-27

DeepSeek出品，必是精品！DeepSeek-OCR 2发布：让LLM像人一样读懂复杂文档，效果超Gemini 3 Pro

2026-01-27

DeepSeek-OCR 2 来了，让 AI 也能像人一样，带着逻辑去看图

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

谁是OCR王者？MinerU、PaddleOCR、DeepSeek-OCR 实测对比，集成一个多模态PDF解析系统

2025-11-10

万字拆解UI-TARS 2.0，看懂豆包手机背后的核心技术

2025-12-15

微软又上大分！刚刚开源一款 0.5B 轻量级实时 TTS 模型，还能边想边说！

2025-12-06

阿里 Qwen3-TTS 全新上线！支持9种方言+49种音色，连天津味儿都拿捏了！

2025-12-07

多模态检索新突破！Qwen3-VL-Embedding/Reranker AI 真正“看懂“你在搜什么，从图片到视频全拿下！

2026-01-10

Gemini 3 多模态Prompt：手相宗师 - 玄师

2025-11-19

GLM-TTS技术报告：基于多奖励强化学习的可控发音语音合成

2025-12-11

声画俱全，一镜入戏 | Seedance 1.5 pro 音视频创作模型正式发布

2025-12-17

蓝色光标×火山引擎：用AI实现多模态内容创作自由

2026-01-05

秒杀传统 TTS？！Gemini 原生中文 TTS 体验 + 提示词模板

2025-12-14

大家都在问

一篇文章讲清楚：到底什么是NotebookLM？除了PPT，它还能做啥？

2025-12-31

GenAI的多模态数据智能平台如何构建？

2025-08-04

本地AI对话神奇，ChatWise到底有什么用？

2025-05-26

什么是基于知识图谱的多模态推理？

2025-05-13

AI数字人领域重大突破：告别拼凑式合成，阿里OmniTalker能否开启音视频一体化新时代？

2025-04-08

Midjourney V7全面测评：50组多风格提示词实测，是否还有领先优势?

2025-04-05

如何结合多模态RAG和异步调用实现大模型内容理解？

2025-03-30

Chat GPT文生图不用DALL·E模型了？

2025-03-26

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部