出会いが共鳴し、次の誰かを動かす。2025年11月30日（日）大阪にて日本最大級のフロントエンドカンファレンス関西が開催！

はじめに こんにちは！早稲田大学大学院創造理工学研究科 修士1年の櫻井洸介です。私はCA Tech ...

プロゲーミングチーム「Crazy Raccoon」とのコラボ商品『Crazy Raccoon グミ』が2025年4月22日から全国で発売。ステッカー付きで抽選プレゼントもあり！

サイバーエージェントは2025年1月27日、1月20日に中国のAI企業DeepSeekが公開した推論型LLM「DeepSeek-R1」の蒸留モデルに日本語データによる追加学習を行ったLLM「DeepSeek-R1-Distill-Qwen-14B/32B-Japanese」を公開した。

サイバーエージェント<4751>は、この日(6月26日)。ニトロプラスの株式を取得し、連結子会社化することを決議したので発表した。個人株主4人より発行済み株式の72.5％に相当する140株を167億0400万円で7月1日付で取得するとのこと。サイバーエージェントの業績に与える影響は軽微となる見通しだが、有力コンテンツメーカーのグループ入りは長期的には大きな影響をもたらしそうだ。ニトロプラスは、「…

<p></p><h2 id="使用したPC">使用したPC</h2> <pre>プロセッサ Intel(R) Core(TM) i7-12700H 実装 RAM 32.0 GB GPU RTX 3080 Laptop (VRAM 16GB) </pre><p></p><h2 id="はじめに">はじめに</h2>日本語の追加学習が加えられたDeepSeek-R1関連のモデルで現状一番良いと思うのがサイバーエージェントが公開してくれている「DeepSeek-R1-Distill-Qwen-14B-Japanese」です。あくまで私個人の調査ですが・・・。今回はそちらを使います。上記PCで140億パラメーターのモデルを動かすのは無理なので4bit量子化を用いました。vLLMがLinuxでしか使用できないのでサーバーサイドはWSL2を使用しています。クライアント側は同じPCのWindowsです。もちろん他のPCからサーバーにアクセスすることも可能です。<h2 id="サーバー側">サーバー側</h2><h3 id="環境">環境</h3> <pre>Ubuntu 24.04 on WSL2 Python 3.12 CUDA 12.4 </pre><p></p><h3 id="vLLMのインストール">vLLMのインストール</h3>venvでPython仮想環境を作成した後に以下のようにしました。 <pre class="code" data-lang="" data-unlink="">git clone https://github.com/vllm-project/vllm.git cd vllm VLLM_USE_PRECOMPILED=1 pip install --editable . pip install bitsandbytes</pre><p></p><h3 id="実行">実行</h3>モデルのダウンロードと量子化が自動で行われます。<br/> 量子化したモデルを保存するのではなく、読み込む時に量子化します。 <pre class="code" data-lang="" data-unlink="">vllm serve cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese --quantization bitsandbytes --load-format bitsandbytes --max-model-len 8192</pre><p></p><h5 id="補足１">補足１</h5>「--max-model-len」に指定する数字が大きすぎるとエラーが出ます。<br/> PC環境（おそらくVRAM用量）によって指定できる数字は変わってくると思います。 <pre class="code" data-lang="" data-unlink="">ValueError: The model's max seq len (16384) is larger than the maximum number of tokens that can be stored in KV cache (14320). Try increasing `gpu_memory_utilization` or decreasing `max_model_len` when initializing the engine.</pre><p></p><h2 id="クライアント側">クライアント側</h2><h3 id="環境-1">環境</h3> <pre>Windows 11 Python 3.12 </pre><p></p><h3 id="Python環境構築">Python環境構築</h3>「openai」と「gradio」をインストールしただけです。 <pre>gradio==5.16.0 openai==1.63.0 </pre><p></p><h3 id="Pythonスクリプト">Pythonスクリプト</h3>以下を実行するだけです。<br/> IP Addressは各自変更して下さい。<br/> サーバー側のWSL2上で「ip addr show」を実行するとわかります。 <pre class="code lang-python" data-lang="python" data-unlink=""><span class="synPreProc">from</span> openai <span class="synPreProc">import</span> OpenAI <span class="synPreProc">import</span> gradio <span class="synStatement">as</span> gr openai_api_key = <span class="synConstant">"EMPTY"</span> openai_api_base = <span class="synConstant">"http://172.30.250.250:8000/v1"</span> client = OpenAI( api_key=openai_api_key, base_url=openai_api_base, ) <span class="synStatement">def</span> <span class="synIdentifier">make_message</span>( message: <span class="synIdentifier">str</span>, history: <span class="synIdentifier">list</span>[<span class="synIdentifier">dict</span>] ): history.append({<span class="synConstant">"role"</span>: <span class="synConstant">"user"</span>,<span class="synConstant">"content"</span>: message}) <span class="synStatement">return</span> <span class="synConstant">""</span>, history <span class="synStatement">def</span> <span class="synIdentifier">bot</span>( history: <span class="synIdentifier">list</span>[<span class="synIdentifier">dict</span>] ): stream = client.chat.completions.create( model=<span class="synConstant">"cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese"</span>, messages=history, temperature=<span class="synConstant">0.5</span>, max_tokens=<span class="synConstant">4000</span>, <span class="synComment">#frequency_penalty=1.1,</span> stream=<span class="synIdentifier">True</span> ) history.append({<span class="synConstant">"role"</span>: <span class="synConstant">"assistant"</span>,<span class="synConstant">"content"</span>: <span class="synConstant">""</span>}) <span class="synStatement">for</span> chunk <span class="synStatement">in</span> stream: history[-<span class="synConstant">1</span>][<span class="synConstant">"content"</span>] += chunk.choices[<span class="synConstant">0</span>].delta.content <span class="synStatement">yield</span> history <span class="synStatement">with</span> gr.Blocks() <span class="synStatement">as</span> demo: chatbot = gr.Chatbot(<span class="synIdentifier">type</span>=<span class="synConstant">"messages"</span>, allow_tags=[<span class="synConstant">"think"</span>]) msg = gr.Textbox() clear = gr.ClearButton([msg, chatbot], value=<span class="synConstant">"新しいチャットを開始"</span>) msg.submit(make_message, [msg, chatbot], [msg, chatbot], queue=<span class="synIdentifier">False</span>).then( bot, chatbot, chatbot ) demo.launch() </pre><p></p><h2 id="実行画面">実行画面</h2><span itemscope="" itemtype="http://schema.org/Photograph"><img class="hatena-fotolife" height="747" itemprop="image" loading="lazy" src="https://cdn-ak.f.st-hatena.com/images/fotolife/t/touch-sp/20250217/20250217173143.png" style="width:512px" title="" width="1200"/></span><br/> <br/> <div class="embed-group"><a class="embed-group-link js-embed-group-link" href="https://blog.hatena.ne.jp/-/group/11696248318754550880/redirect"><div class="embed-group-icon"><img alt="" height="40" src="https://cdn.image.st-hatena.com/image/square/adad63b72f1d6545b2ba2538c3fc2923b2fd5989/backend=imagemagick;height=80;version=1;width=80/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Fcircle%2Fofficial-circle-icon%2Fcomputers.gif" width="40"/></div><div class="embed-group-content"><span class="embed-group-title-label">ランキング参加中</span><div class="embed-group-title">プログラミング</div></div></a></div>

こんにちは！マンガIPのライツを担当している村田です。 今週は下記の5つのニュースを紹介します。 ソニーのCES2025のカンファレンス ニュースサマリ ソニーはCES 2025で「Creative Entertainment Vision」を発表し、新技術やエンタメ領域の最新取り組みを紹介した。 分析、所感 年始からエンタメ業界にビッグニュースを持ち込んだのが去年に引き続きソニーでした。CES 2025のカンファレンスからエンタメ要素の強いニュースをこちらで紹介します。 まず、3DCG制作ソリューション『XYN(ジン)』。ミラーレスカメラで撮影すると、実在する物体

サイバーエージェントは8月、TikTok for Businessが認定するTikTokマーケティングパートナーのエージェンシーバッジ（認定代理店バッジ）を取得した。TikTokのセールスにおける実績や取り組みが認められたパートナーをグローバルで認定するプログラムで、国内企業の取得は初めて。