|
if mode == "TEXT": |
|
# text-only mode: get logits from the last token |
|
self.pending_logits, _ = self.decoder.feed(text_embeds, return_logits=True) |
|
else: |
|
# mixed mode: just feed, let other modality get logits |
|
self.decoder.feed(text_embeds) |
你好,
请问一下如果是 video/audio + text的prefill情况下,pending_logit 不是依据最新的kv cache解码出,而仍然是其他模态下解码出来的,这么设计有什么原因么?
MiniCPM-o-Demo/MiniCPMO45/modeling_minicpmo.py
Lines 2992 to 2997 in 50b0865
你好,
请问一下如果是 video/audio + text的prefill情况下,pending_logit 不是依据最新的kv cache解码出,而仍然是其他模态下解码出来的,这么设计有什么原因么?