Chuẩn bị data set train Qwen VL cấu trúc sau:
{
"messages": [
{
"role": "user",
"content": [
{"type": "text", "text": "Câu hỏi/instruction"},
{"type": "image", "image": PIL.Image}
]
},
{
"role": "assistant",
"content": [
{"type": "text", "text": "Câu trả lời"}
]
}
]
}Ví dụ:
Biển R.301 → file R.301.jpg
[
{
"image": "R.301.jpg",
"question": "Biển báo R.301 có ý nghĩa gì?",
"answer": "Biển báo R.301 là biển CẤM RẼ TRÁI. Khi gặp biển này, phương tiện không được phép rẽ trái."
},
{
"image": "R.302.jpg",
"question": "Biển báo R.302 có ý nghĩa gì?",
"answer": "Biển báo R.302 là biển CẤM RẼ PHẢI. Khi gặp biển này, phương tiện không được phép rẽ phải."
},
{
"image": "I.401.jpg",
"question": "Biển báo I.401 có ý nghĩa gì?",
"answer": "Biển báo I.401 là biển CHỈ DẪN HƯỚNG ĐI. Biển này chỉ dẫn hướng đi cho phương tiện."
}
]