还记得我们之前介绍过的轻量级视觉基础模型 Florence-2 吗？Florence-2：微软开源的轻量级视觉基础模型，性能炸裂，吊打巨型模型！作为微软开源的全新架构，Florence-2 以其小巧的体积、炸裂的性能以及对多任务的统一处理方式，在视觉理解领域掀起了一阵旋风。
今天，我们将更进一步，探索如何将 Florence-2 应用于视觉问答（VQA）任务。我们将带你领略 Florence-2 如何通过微调，轻松玩转 VQA，展现其在实际应用中的巨大潜力！
回顾 Florence-2 的强大之处
在深入 VQA 之前，让我们先回顾一下 Florence-2 的一些关键优势：
• 轻量级: Florence-2 提供了 0.2B 和 0.7B 两种版本，即使在资源有限的设备上也能流畅运行，极大地降低了使用门槛。
• 高性能: 得益于大规模数据集的预训练以及创新的多任务学习策略，Florence-2 在图像描述、目标检测、光学字符识别等任务上均有不俗的表现，甚至可以媲美那些巨型模型！
• 统一架构: Florence-2 采用统一的表征来处理各种计算机视觉和视觉语言任务，无需为不同的任务设计不同的模型，简化了模型开发和部署流程。
Florence-2 与 VQA 的完美邂逅
VQA：让计算机拥有一双慧眼
视觉问答 (VQA) 就像赋予了计算机一双能够理解图像的慧眼，并能够用自然语言回答关于图像的问题。想象一下，计算机可以像我们一样，看着图片，回答诸如 "图中是什么动物？"、"他们在做什么？" 这样的问题，将会带来多么令人惊叹的应用场景！
VQA 的应用潜力巨大，例如：
• 图像搜索: 用户可以使用自然语言搜索图像，例如 "找到一张有猫和狗在玩耍的图片"。
• 智能助手: 智能助手可以理解用户提供的图像，并回答用户关于图像的问题，提供更智能化的服务。
• 辅助驾驶: 自动驾驶汽车可以使用 VQA 技术理解周围环境，例如识别交通信号灯、行人、车辆等，并做出更安全的驾驶决策。
微调：唤醒 Florence-2 的 VQA 潜力
虽然 Florence-2 发布的模型没有直接包含 VQA 功能，但我们可以通过微调的方式，将它训练成一个强大的 VQA 模型。一种有效的方法是使用区域到描述提示，例如，我们可以将问题和图像区域作为输入，并训练模型生成对该区域的描述，从而间接地回答问题。
DocVQA：见证 Florence-2 的实力
为了评估 Florence-2 在 VQA 任务上的性能，我们使用 DocVQA 数据集进行了实验。实验结果令人振奋：经过微调后，Florence-2 在 DocVQA 上的 Levenshtein 相似度从 0 提高到 57.0，这意味着模型能够生成与真实答案非常接近的文本输出！
效果验证：模糊图像的问答，提取邮件主题。
手把手教你微调 Florence-2
迫不及待地想体验 Florence-2 在 VQA 上的强大实力了吗？别着急，我们这就来手把手教你如何微调 Florence-2，打造属于你自己的 VQA 模型！
准备工作
在开始之前，我们需要做好以下准备工作：
• 硬件: 一块 NVIDIA GPU (建议使用 A100 或 T4)，当然，如果你没有 GPU 也不用担心，使用 CPU 也是可以的，只是训练速度会慢一些。
• 软件: Python 3.8+, PyTorch 1.10+, Transformers 4.20+，这些工具都是开源免费的，安装也非常方便。
• 数据集: DocVQA 数据集，你可以在 Hugging Face 上找到它。
代码实战
万事俱备，只欠代码！接下来，我们将使用 Hugging Face Transformers 库来微调 Florence-2，让它学会回答关于图像的问题！
1. 安装依赖:
!pip install -q datasets flash_attn timm einops
2. 加载数据集:
from datasets import load_dataset
data = load_dataset("HuggingFaceM4/DocumentVQA")
3. 加载模型:
from transformers importAutoModelForCausalLM,AutoProcessor
import torch
device = torch.device("cuda"if torch.cuda.is_available()else"cpu")
model =AutoModelForCausalLM.from_pretrained(
"microsoft/Florence-2-base-ft",
trust_remote_code=True,
revision="refs/pr/6",
).to(device)
processor =AutoProcessor.from_pretrained(
"microsoft/Florence-2-base-ft", trust_remote_code=True, revision="refs/pr/6"
)
# 冻结视觉编码器参数，降低训练成本
for param in model.vision_tower.parameters():
param.requires_grad = False
4 定义数据集类:
import torch
from torch.utils.data importDataset
classDocVQADataset(Dataset):
def__init__(self, data):
self.data = data
def__len__(self):
returnlen(self.data)
def__getitem__(self, idx):
example = self.data[idx]
question ="<DocVQA>"+ example["question"]
first_answer = example["answers"][0]
image = example["image"].convert("RGB")
return question, first_answer, image
5. 定义数据加载器:
import os
from torch.utils.data importDataLoader
from tqdm import tqdm
from transformers importAdamW, get_scheduler
defcollate_fn(batch):
questions, answers, images =zip(*batch)
inputs = processor(
text=list(questions),
images=list(images),
return_tensors="pt",
padding=True,
).to(device)
return inputs, answers
train_dataset =DocVQADataset(data["train"])
val_dataset =DocVQADataset(data["validation"])
batch_size =6# 根据GPU内存调整
num_workers =0
train_loader =DataLoader(
train_dataset,
batch_size=batch_size,
collate_fn=collate_fn,
num_workers=num_workers,
shuffle=True,
)
val_loader =DataLoader(
val_dataset,
batch_size=batch_size,
collate_fn=collate_fn,
num_workers=num_workers,
)
6. 微调模型:
epochs = 7
optimizer =AdamW(model.parameters(), lr=1e-6)
num_training_steps = epochs *len(train_loader)
lr_scheduler = get_scheduler(
name="linear",
optimizer=optimizer,
num_warmup_steps=0,
num_training_steps=num_training_steps,
)
for epoch inrange(epochs):
model.train()
train_loss =0
for inputs, answers in tqdm(
train_loader, desc=f"Training Epoch {epoch + 1}/{epochs}"
):
input_ids = inputs["input_ids"]
pixel_values = inputs["pixel_values"]
labels =(
processor.tokenizer(
text=answers,
return_tensors="pt",
padding=True,
return_token_type_ids=False,
)
.input_ids.to(device)
)
outputs = model(input_ids=input_ids, pixel_values=pixel_values, labels=labels)
loss = outputs.loss
loss.backward()
optimizer.step()
lr_scheduler.step()
optimizer.zero_grad()
train_loss += loss.item()
avg_train_loss = train_loss /len(train_loader)
print(f"Average Training Loss: {avg_train_loss}")
model.eval()
val_loss =0
with torch.no_grad():
for batch in tqdm(
val_loader, desc=f"Validation Epoch {epoch + 1}/{epochs}"
):
inputs, answers = batch
input_ids = inputs["input_ids"]
pixel_values = inputs["pixel_values"]
labels =(
processor.tokenizer(
text=answers,
return_tensors="pt",
padding=True,
return_token_type_ids=False,
)
.input_ids.to(device)
)
outputs = model(
input_ids=input_ids, pixel_values=pixel_values, labels=labels
)
loss = outputs.loss
val_loss += loss.item()
print(val_loss /len(val_loader))
7. 保存模型:
model.save_pretrained("path/to/save/model")
processor.save_pretrained("path/to/save/processor")
测试模型
完成训练后，你可以使用以下代码来测试你的 VQA 模型:
from PIL importImage
# 加载图像
image =Image.open("path/to/your/image.jpg")
# 输入问题
question ="What is in the image?"
# 使用模型进行预测
inputs = processor(text=question, images=image, return_tensors="pt").to(device)
generated_text = model.generate(**inputs)
# 输出预测结果
print(processor.decode(generated_text[0], skip_special_tokens=True))
Florence-2 VQA Demo
为了更直观地展示 Florence-2 的 VQA 能力，我们提供一些 Demo 示例：
英文:
中文:
Florence-2：VQA 领域的未来之星
Florence-2 凭借其轻量级、高性能和易于微调的特性，为 VQA 领域注入了新的活力。相信在不久的将来，Florence-2 将会在更多 VQA 应用中大放异彩，为我们带来更加智能化的生活体验！
粤ICP备14082021号
免费POC，
零成本试错
