使っていないRaspberryPi zeroがあったので、picoclawをインストールして使ってみました。
LLMをGemini frashにして使ってみたのですが、不毛なやり取りでトークンが消費されるので心配だったので、使っていないJetson orin nano superでLLMを動作させて使ってみました。
3つのLLMを動かしてpicoclawを使ってみた結果：
- Gemma4 e2b → picoclawツールを（ほぼ）使ってくれない
- Qwen 2.5 coder 3b → picoclawツールを（ほぼ）使ってくれない
- llama3.2 3b → picoclawツールを使う
どのLLMにも言えるのが、picoclawツールを期待した通りに使ってくれない、間違っているのに同じ答えを返し続ける（ハルシネーション？）ので、Gemini flash以上に不毛なやり取りを繰り返し続けました...
やりたい事を設定させようとして、いかにツールを使わせるかのやり取りに終始しがちでした。
jetson orin nanoで2b, 3bモデルが動いてはいますが、picoclawを使わせるにはは厳しいなぁというのが私個人の感想です。
USER.mdなどで躾ければ、もうチョイ良くなるかと思ったんですが、あまり効果はありませんでした。（というか、悪化しましたw）
まぁ、私の書き方が悪いのかもしれませんが...
0 件のコメント:
コメントを投稿
注: コメントを投稿できるのは、このブログのメンバーだけです。