GKD在使用vllm api-server部署教师模型时，似乎对多模态输入的处理有问题

[WhiteGrayxp]

Checklist / 检查清单

• I have searched existing issues, and this is a new question or discussion topic. / 我已经搜索过现有的 issues，确认这是一个新的问题与讨论。

Question Description / 问题描述

rt，在使用api部署教师模型，获取logprobs，使用了如下的实现，payload prompt部分似乎仅包含了文本部分token，对于多模态模型训练可能会导致教师实际没有收到图片信息（仅占位符）？

def _fetch_one(batch_idx):
        payload = {
            'model': model,
            'prompt': input_ids[batch_idx],
            'max_tokens': 1,
            'temperature': 0,
            'prompt_logprobs': topk,
        }
        try:
            resp = session.post(url, json=payload, timeout=timeout)
            resp.raise_for_status()
            prompt_logprobs_list = resp.json()['choices'][0].get('prompt_logprobs', [])
       ……

[xxk123456]

一样的问题，多模态数据GKD训练下来效果很差

[hjh0119]

Sure, it's a bug. The multimodal adaptation for the teacher API will be completed within this iteration.