diff --git a/crates/llama_cpp/src/grammar/mod.rs b/crates/llama_cpp/src/grammar/mod.rs index 7e1c19b..6c82b65 100644 --- a/crates/llama_cpp/src/grammar/mod.rs +++ b/crates/llama_cpp/src/grammar/mod.rs @@ -7,7 +7,10 @@ use std::collections::BTreeMap; use std::fmt::{Debug, Formatter}; use llama_cpp_sys::{ - llama_grammar, llama_grammar_element, llama_gretype, llama_gretype_LLAMA_GRETYPE_ALT, llama_gretype_LLAMA_GRETYPE_CHAR, llama_gretype_LLAMA_GRETYPE_CHAR_ALT, llama_gretype_LLAMA_GRETYPE_CHAR_NOT, llama_gretype_LLAMA_GRETYPE_CHAR_RNG_UPPER, llama_gretype_LLAMA_GRETYPE_END, llama_gretype_LLAMA_GRETYPE_RULE_REF + llama_grammar, llama_grammar_element, llama_gretype, llama_gretype_LLAMA_GRETYPE_ALT, + llama_gretype_LLAMA_GRETYPE_CHAR, llama_gretype_LLAMA_GRETYPE_CHAR_ALT, + llama_gretype_LLAMA_GRETYPE_CHAR_NOT, llama_gretype_LLAMA_GRETYPE_CHAR_RNG_UPPER, + llama_gretype_LLAMA_GRETYPE_END, llama_gretype_LLAMA_GRETYPE_RULE_REF, }; use std::ptr::NonNull; use std::str::FromStr; diff --git a/crates/llama_cpp/src/standard_sampler.rs b/crates/llama_cpp/src/standard_sampler.rs index d0e6d56..712f126 100644 --- a/crates/llama_cpp/src/standard_sampler.rs +++ b/crates/llama_cpp/src/standard_sampler.rs @@ -1,7 +1,11 @@ use std::ptr::addr_of_mut; use llama_cpp_sys::{ - llama_context, llama_sample_entropy, llama_sample_grammar, llama_grammar_accept_token, llama_sample_min_p, llama_sample_repetition_penalties, llama_sample_tail_free, llama_sample_temp, llama_sample_token, llama_sample_token_greedy, llama_sample_token_mirostat, llama_sample_token_mirostat_v2, llama_sample_top_k, llama_sample_top_p, llama_sample_typical, llama_token, llama_token_data_array + llama_context, llama_grammar_accept_token, llama_sample_entropy, llama_sample_grammar, + llama_sample_min_p, llama_sample_repetition_penalties, llama_sample_tail_free, + llama_sample_temp, llama_sample_token, llama_sample_token_greedy, llama_sample_token_mirostat, + llama_sample_token_mirostat_v2, llama_sample_top_k, llama_sample_top_p, llama_sample_typical, + llama_token, llama_token_data_array, }; use crate::{grammar::LlamaGrammar, Sampler, Token}; @@ -352,7 +356,7 @@ impl Sampler for StandardSampler { // Note: We must accept the token into the grammar after sampling if a grammar is provided. if let Some(grammar) = self.grammar.as_mut() { - unsafe { llama_grammar_accept_token(context, grammar.grammar.as_ptr(), token.0)} + unsafe { llama_grammar_accept_token(context, grammar.grammar.as_ptr(), token.0) } } token