gen_ai_hub.orchestration.models.llm
index
/home/jenkins/agent/workspace/ation_generative-ai-hub-sdk_main/gen_ai_hub/orchestration/models/llm.py

 
Classes
       
gen_ai_hub.orchestration.models.base.JSONSerializable(abc.ABC)
LLM

 
class LLM(gen_ai_hub.orchestration.models.base.JSONSerializable)
    LLM(name: str, version: str = 'latest', parameters: Optional[Dict] = None)
 
Represents a Large Language Model (LLM) configuration.
 
This class encapsulates the details required to specify and configure a particular
LLM for use in natural language processing tasks. It includes the model's name,
version, and any additional parameters needed for its operation.
 
Args:
    name: The name of the LLM.
    version: The version of the LLM. Defaults to "latest".
    parameters: Additional parameters for configuring the LLM's behavior. Common parameters include:
 
        - 'temperature': Controls randomness in output. Lower values (e.g., 0.2)
          make output more focused and deterministic, while higher values (e.g., 0.8)
          make output more diverse and creative.
        - 'max_tokens': Sets the maximum number of tokens to generate in the response.
          This can help control the length of the model's output.
 
 
Method resolution order:
LLM
gen_ai_hub.orchestration.models.base.JSONSerializable
abc.ABC
builtins.object

Methods defined here:
__init__(self, name: str, version: str = 'latest', parameters: Optional[Dict] = None)
Initialize self.  See help(type(self)) for accurate signature.
to_dict(self)
Convert the object to a JSON-serializable dictionary.

Data and other attributes defined here:
__abstractmethods__ = frozenset()
__annotations__ = {}

Data descriptors inherited from gen_ai_hub.orchestration.models.base.JSONSerializable:
__dict__
dictionary for instance variables (if defined)
__weakref__
list of weak references to the object (if defined)

 
Data
        Dict = typing.Dict
Optional = typing.Optional