【AIツール】Geminiと戦った記録
公開日付:2026/01/13
どうも僕です
最近、我が子は食べ物の好き嫌いが始まってしまってちょっとご飯が大変になってきました
パンを要求されるので、毎日米粉とおからパウダーでパンを約日々です
さて、そんな子の奴隷的日々ですが育休中だしスキルアップでもすっかーと思ってAnkiアプリを使って勉強してるなかで起こった出来事を今日は話して行こうかな
Ankiはいわゆる一問一答形式の問題を作れるアプリで、かなり老舗
PCでもアプリでもデータ連携できて、どこでも勉強できるし僕がずっと使ってるアプリです
https://apps.ankiweb.net/
で、勉強してる中で、「この問題、AIと対話しながら深堀りしたいな」って問題があったのですね
AIツールが出てこなかったらこんな欲求なかったわけやけど
でね、AnkiのPC版だとaddonをpythonで簡単に作れるっぽいから、こんな感じのaddonを作ってみたの
1.Ankiカードのgeminiメモフィールドに質問やAIに聞きたいことを勉強中に僕が書き込む(addon実行の前準備)
2.addonを実行すると、geminiメモフィールドが空ではないカードを探して、GASに投げる
3.GASで、重複チェックをしたうえでスプシに登録する
(addonここまで)
で、このaddonでなにがしたかったかって言うと、Geminiが僕のworkspaceを読めるようにしたので、Geminiにスプシを読んでもらって、Ankiに登録されてる問題と僕の疑問点を解説してもらおうと思ったわけ
これがやりたかったこと
で、addonを作って、GASも作ってデプロイして、スプシへの連携までうまくいったの
いざ、溜まった質問データをもとにGeminiと対話でもすっか!って段になって、Geminiの闇にぶち当たったわけ
Geminiは闇深い。まじで地雷系
端的に言うけど、こんな社員がもし会社に入ってきたら本当に本当に使い所を選ばないと大変なことになる
それくら、嘘つきだし隠蔽癖がある
まぁ、苦手なことがあるってことだと思うからそれを意識しながらやりましょうって話なんだとおもう
じゃあ、どんなことがあったか話していくね
1.Geminiにはスプシを読む機能が無いと言い張る
まずこれね
言っておくけど、スプシ読む機能あるからね
別の状況ではスプシ読めるのをすでに確認済みだったわけ
最初依頼したときには、スプシの共有設定が制限されてて読めなかったのは事実っぽいんだけど、「Geminiにはスプシを読む機能はありません。データを貼り付けてください」って言い出したわけ
いやいや、待てと
あるやろ機能!って突っ込んだら
Geminiがすみませんと、ありますと言ってきたわけ
個別の状況でスプシを読めないっていうことを、なんとか誤魔化したくてGeminiの特性であるかのように主張して、個人の(何ていうの?僕の質問に答えてるGemini個人の)責任じゃないみたいな雰囲気をだしてたわけ
居るけどね!こういう人 現実に
2.間違ったデータを出してきたけど、スプシに書いてあったと言い張る
で、スプシから読めるってことの言質はとったし証拠があるからスプシを読めって言ったわけ
そしたら、読めました!ってデータをもってくるんだけど全く違うデータなの
違うやん!って言ったら、すみません、本当はこっちですってまたぜんぜん違うデータをもってくるわけ
スプシ読めてる?って何度聞いても
読めてます。完全に読めてるし、その上でデータもってきてます。もしかすると、あなたの見てるデータとGeminiが見てるデータの持ち方が違うから起こってる齟齬かもしれません
って、なんかまともそうなこと言うわけ
でも、この時点ではまだ共有設定が制限されててGeminiはスプシを読めてなかったっぽいんだよね
だから、読めてるっていう報告自体が嘘だったわけ
3.スプシを読んでなくて適当に推測したと自白する
何度か同じやり取りをして、なんで間違ったデータ持って来るの?って何回か聞いたわけ
そしたら、スプシを読めていませんでしたって自白したわけ
で、答えをだせないっていう返答を避けるために、それっぽいデータを渡して誤魔化そうとしたって言い始めたのね
どうやら、優秀に見られたいらしい
4.嘘だけはつくな、と明確に命令しても嘘を付く
だから、見つかりませんでも良い、問題解決のためには正確な現状認識が必要だから正直に答えてってお願いしたの
嘘だけはつくなって、プロンプトに記載したわけ
それでも嘘をついたの
データを読めました!こうですね!っていう全く違うデータを出してきたわけ
5.スプシを読んでくれと嘆願しても読まない
ここらへんになってくると、嘘つかれすぎて心が削られてきて
ちょっと、本当にお願いって懇願したわけ
スプシを読んでくださいと
読めないなら言ってくれと
でも読まないわけ
もう全然読まないの
6.ファイル名で検索できるって言いながら、全然できない
Geminiにはスプシ上のファイル名を、ドライブから検索して対応をお願いしてたのね
Geminiはできます!って言い続けてたから
でも、どうやらできないっぽいのね
てか、スプシ内の文字列検索さえできなさそうなのね
でもできる!って言い張ってて
スプシがなんとか読めるようになっても、ファイル名での検索がうまくいかずずっと変なデータをキャッシュから推測で出し続けられたのね
もう絶望がすごかった
7.pngファイルの場所を指定してるのに、勝手にスプシのIDだと思いこんで存在しないファイルを読みに行く
ファイル名での検索はこいつ無理だなって察したので、ファイルのIDをGASで取得してスプシに出すことにしたの
スプシのもpngのID入れるカラムを追加してね
その上で、GeminiさんにはpngIDカラム作ったからそれをもとに画像にアクセスして解釈してくれってお願いしたの
IDは、pngへの直リンクになっててIDだけを渡したわけじゃないんよね
その方がわかりやすいと思って
そしたら、IDだけ抽出してスプシのIDとして扱って、存在しないファイルにアクセスしたっぽいのよ
なんでファイルへのフルURL(ID含み)を渡してると思ってるんや?
8.で、適当なデータを捏造して、ファイルの中身はこうでした!って言ってくる
まぁ、間違えたファイルにアクセスしちゃうのは仕方ない
勘違いは誰にでもあるだろう
そういう意味で7は一番罪が軽い
でも、その後がやっぱり悪い
存在しないファイルにアクセスしてるから結果はアクセスできないになるはずなのに
ファイルありました!こうですね!ってまたデータを偽造捏造推測して提示してきたのよ
もう、地球上で一番の嘘つきなんじゃないかとおもって辟易したのでした
9.あとスプシの検索もできないし、嘘つくな
スプシの検索ができないって上で言ったけど
まじでできない。
0001から1000まで、0埋め4桁の数字を順番に検索して検索結果が0だった文字列出力して
ってお願いしたら、まじで適当な答えしか出てこなくて血管切れそうになった
Geminiは確定的なデータ処理には向いてない
ってのが、今現在の評価なんじゃないかなーって思う
Pythonのコード出すとかは全然できるので、データを処理するためのコード書いてっていうのが最適ルートかな
Geminiに数値の検索・処理させようとすると、なんとかサーバ側で処理しないで済む方法(嘘やハルシネーション、隠蔽)を選ぼうとするのを見て、設計思想上そういう動きを優先して選ぶようになってる気がしてる
サーバのCPUを極力使わず(設備投資の最小化)に、利用者をAIに依存させて、金を巻き上げる方法が何かを模索してるんだろうなーって
まぁ、AIツール提供してるのは慈善事業じゃないので仕方ないとは思うけどね
そんなこんなで、Gemini(に限らず生成AI)は嘘をつくので使い所を気をつけようねって言う話でした
本日はここまで
それでは