Woosuk Kwon c0935c96d3 [Bugfix] Set enable_prefix_caching=True in prefix caching example (#3703)

2024-03-28 16:26:30 -07:00

..

production_monitoring

…

api_client.py

…

gradio_openai_chatbot_webserver.py

…

gradio_webserver.py

…

llava_example.py

[CI] Add test case to run examples scripts (#3638)

2024-03-28 14:36:10 -07:00

llm_engine_example.py

…

multilora_inference.py

…

offline_inference_distributed.py

…

offline_inference_neuron.py

…

offline_inference_with_prefix.py

[Bugfix] Set enable_prefix_caching=True in prefix caching example (#3703)

2024-03-28 16:26:30 -07:00

offline_inference.py

…

openai_chatcompletion_client.py

…

openai_completion_client.py

…

template_alpaca.jinja

…

template_baichuan.jinja

…

template_chatglm2.jinja

…

template_chatglm.jinja

…

template_chatml.jinja

…

template_falcon_180b.jinja

…

template_falcon.jinja

…

template_inkbot.jinja

…