grps_trtllm
【grps接入trtllm】通过GPRS+TensorRT-LLM+Tokenizers.cpp实现纯C++版高性能OpenAI LLM服务，支持chat和function call模式，支持ai agent，支持分布式多卡推理，支持多模态，支持gradio聊天界面。
ai-agentchatglmfunction-callinternvl2llama-indexllama3llmmulti-modalopenaiqwen-vlqwen2tensorrt-llm
Github Data
Star 92
Fork 3
Subscriber 3
Language C++
Size 126.3K
owner
created at 2024-08-21
updated at 2024-11-18
pushed at 2024-11-03
