SGOCR：空間定位的光學字元辨識管道與 V1 資料集 [P]

大家好！我一直在獨立研究開發小而強大的視覺語言模型（VLM），卻發現現有的視覺資料集有個大問題——它們都在教模型理解文字內容或場景推理，但沒有人在教模型簡單地「定位圖片裡的文字在哪裡」。這讓我花了兩週時間做了個副專案，開發出 SGOCR——一個開源資料集管道，可以生成具有空間定位的光學字元辨識問答對組（VQA tuples），還附帶大量豐富的中繼資料，用來訓練各式各樣的視覺語言模型。