Не работают модели с Groq локально
Простой код вызова модели работает в google collab, но не работает у меня локально в Pycharm и VSCode. Все под vpn. В чём может быть ошибка кроме старых версий библиотек, неправильного ключа, корректного названия модели (это всё уже проверено)?
import os
from langchain_groq import ChatGroq
os.environ["GROQ_API_KEY"] = "МОЙ_КЛЮЧ_GROQ"
llm = ChatGroq(
model="llama3-8b-8192"
)
print(llm.invoke('Привет! Как дела?').content)
Текст ошибки:
groq.NotFoundError: Error code: 404 - {'error': {'message': 'Not Found'}}
Более подробно:
---------------------------------------------------------------------------
NotFoundError Traceback (most recent call last)
Cell In[1], line 12
7 # Создайте экземпляр ChatGroq
8 llm = ChatGroq( # Убедитесь, что это правильный URL
9 model_name="llama3-8b-8192"
10 )
---> 12 print(llm.invoke("Hi"))
File d:\GitMetrics\env\lib\site-packages\langchain_core\language_models\chat_models.py:307, in BaseChatModel.invoke(self, input, config, stop, **kwargs)
296 def invoke(
297 self,
298 input: LanguageModelInput,
(...)
302 **kwargs: Any,
303 ) -> BaseMessage:
304 config = ensure_config(config)
305 return cast(
306 ChatGeneration,
--> 307 self.generate_prompt(
308 [self._convert_input(input)],
309 stop=stop,
310 callbacks=config.get("callbacks"),
311 tags=config.get("tags"),
312 metadata=config.get("metadata"),
...
(...)
1028 retries_taken=retries_taken,
1029 )
NotFoundError: Error code: 404 - {'error': {'message': 'Not Found'}}
Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...