™︎
tmaehara.bsky.social
™︎
@tmaehara.bsky.social
1.2K followers 790 following 2.6K posts
https://tmaehara.gitlab.io/; TCS Researcher & ML Engineer. Brilliant British Foods: https://bsky.app/profile/did:plc:dqxsa5cjfrzulhalom4kuyd2/feed/aaaiqwjhlzavy Bluesky Bots https://gitlab.com/tmaehara/bluesky-newsbots
Posts Media Videos Starter Packs
アメリカパーソン,"I went to hospital" とは言わないらしい? (a/the を入れるらしい?)
だいたい「今のコードが壊れる前に次のコードを書く」を繰り返してる.
LLM が生成するコードの品質はそんなに高くないけど,人間が書くコードの品質もそんなに高くないし,どんなコードも大体1年くらいで書き直すことになるから,あんまり気にならないパーソン.
LLM に自分が言いたいことを言わせて悦に入るの,みっともないっすよ.
非享受利用かどうかで戦うというのは,非享受利用の要件を詰めましょうということなので,画像等生成サービスの話に留まらない著作権法一般の議論がトリガーされてしまってめっちゃ大変なのが予想されちゃう.将来のためとしてやってもいいけど絶対に迂遠.
モデルの学習を著作権侵害で戦う(非享受利用ではないと主張)は面白いけどかなり難しいと思うなあ.解決したい問題に対してあまりに大きな論点をぶつけてるように見える.素直に出力時の侵害で戦った方がいいと思う.
これでVisaのサポートができない規模の会社で働いたり,半年くらい仕事しない期間を作るのができるようになった.いまのお仕事はかなり楽しいのですぐに何かが変わることはないけど,命綱が手に入った感覚がある.
やったぜ(承認までがあまりに早かったため,承認されたことに数日気づいてなかった)
> Your application for settlement (also known as indefinite leave to remain) has been successful.
>
> I am pleased to say you have been granted settlement in the United Kingdom (UK).
わたし玉拾い業務を一切せずにここまで来てしまった。これはこれであんまりよくないとは思うんだけど難しいわ。
統計学的には,「わたしはこう思ってる」と「わたしはこれを観測した」に特に差はないっすよ
「有限の観測値から背後にある規則を推測する」のは統計学のやることの1つでしかないっすよ.統計学のスコープはずっと広いっす.
British traditional curry rice
LLM の出力を validate して違反してたらやり直させる,同じミスを繰り返したら「いい加減に諦めてインストラクションに従え」とメッセージを自動生成する,みたいなことをやっている
「LLMにいうことを聞かせる技術」がだんだん身につきつつある
しばらく前からなんか不穏だったので,自宅の計算機環境は rustfs にしてます.
これ、どうやって実現してるんだろう。生成後に指定の人物と類似性を評価してる?
動的計画法,考え方が役に立つとかそういう話ではなく,本当にごく普通に業務で使ってます(だいたい月に1回くらいは何かしら書いてる).単に動的計画法を使わない各位が動的計画法を使わない仕事をしているだけで,動的計画法を使う仕事がここにあるのでわたしは普通に動的計画法を使います.
このときに内部的に起こるのは「ユーザ入力からクエリ生成し (by LLM による fullTextSearch 呼び出し),候補を hard-filtering し (by fullTextSearch の実行),得られた文書をセンテンスベクトルに埋め込み (by LLM が戻り値を消費),結果をフィードバックして反復する」という,ある意味極めて古典的なことなんだけど,これを特に難しい実装をすることなく達成できるのがとても強い.
一見 latency が問題になりそうなんだけど,
1. ユーザの入力 → search(query) ツールをもつ LLM で処理
2. search(query) の内部実装:別の LLM が fullTextSearch(query) を反復的に実行
という階層構造にして search(query) のレイヤでキャッシュすると LLM が生成する query の多様性が小さいので実用上かなりうまくいく.つまり 1 が query rewriting agent で 2 が search agent という立て付け.
これは肌感覚なんだけど,たぶん LLM のおかげで全文検索がリバイバルすると思う.これまで検索って各文書をベクトル埋め込みしてベクトル検索に投げるのが標準だったと思うんだけど,いまのところ試したほぼすべての応用で全文検索ツールを LLM に提供する方が性能が上がってる.
会話としては「それを指摘するのは実害があるレベルで迷惑だけど?」で終わる。
あれは「任意の人間は有限のリソースを食うので迷惑」と同じ主張で、「迷惑」の定義にギャップがあるやつ。