HNZENNSCORE 94points 271 · comments 1702026/7/29
長文ポリシーはエージェントを統治できない —— HANDBOOK.md ベンチマークが5業種の実務タスクで測った指示追従の限界
Surge AI が公開した HANDBOOK.md は、多節にわたる社内ハンドブックを参照しながら散らかった受信箱・Slack・Jira・スプレッドシートを横断して業務を遂行させる長文コンテキストの指示追従ベンチマークで、金融・医療請求・保険・物流・人事の5領域を対象にしている。各タスクは内部ツールと外部 MCP サーバーを備えた個別の RL 環境として作られ、「何をすべきか」と「ハンドブックが禁じていること」の両方を守らせる設定で、長いポリシー文書ではエージェントを信頼できる形で統治できないことが示された(Opus 4.8 max thinking が最高、Grok 4.3 が最低)。同じ時期に Zenn では CLAUDE.md への記述をやめて必要な知識をその瞬間に届ける運用や、記憶を二層に分けて全部は読ませない構成が投稿されており、静的な長文指示から動的供給への移行が実務側でも起きている。
WHY THISfocus 領域のハーネス設計そのものを扱う論文で、CLAUDE.md や skill にどこまで書くべきかという日々の判断に直接効く。
💬 議論の論点
HN では論文の結論が体験と一致するという声が多数。「CLAUDE.md に強い指示(長いコメントを書くな、既存機能を使え)を明示的に置いているのに、実タスクでは驚くほど早く無視される。ところが同じことをタスク中のプロンプトで言うとちゃんと従う」という報告が上位に付いた。技術的な説明として「効率的なコンテキスト管理に最適化されたモデルが、遠くの薄まったトークンに注意を向けると期待する理由がない。playbook を渡せば、モデルは playbook と目の前のタスクのどちらに注意を割くかを選ばされる。段階的に実行させたいなら、手順は一つずつ提示するしかない」という指摘、および 2023 年の "Lost in the Middle" が今も成り立つという言及があった。運用側の回答として、メインセッションは CLAUDE.md の知識で組み立て、コメント抑制のような個別の規律は単一の関心事だけを持つサブエージェントに強制させる、という分業の報告も出ている。
⚖️ Perspectives
「長文が効かない」の原因をどこに置くかで対処が分かれる。モデル側の限界(量子化・KV キャッシュ・サンプラー)に帰す立場は、1M コンテキストを謳っていても実際に使えるとは限らないと見て、ローカル推論による制御を主張する。設計側に帰す立場は、注意の配分は有限なのだから静的な長文ではなく現在のステップに必要な規則だけを都度提示すべきだと見る。人間の側の類推として「180 ページの就業規則を特別な訓練なしに保持できる人間もいない。賭け金が高ければ人は不作為に逃げ、低ければ規則を無視して最短経路を通る」という指摘もあり、文書量そのものが統治手段として弱いという読み方に落ち着いている。
❓ Quick questions
Q. HANDBOOK.md は何を測るベンチマークなのか。
A. 企業の従業員が日々参照する社内ハンドブックを模し、金融・医療請求・保険・物流・人事の5領域で、内部ツールと外部 MCP サーバーを持つ環境の中で長文規則を守りながらタスクを完了させる能力を測る。
Q. CLAUDE.md は短くすればよいのか。
A. 論文とコメントが共通して示すのは長さではなく提示のタイミングで、現在のステップに必要な規則を都度渡す方が追従率が高い。全部消すのではなく、常時読ませる層と必要時に届ける層に分ける構成が現実的。
HNZENNSCORE 89points 125 · comments 402026/7/29
MCP 2026-07-28 仕様がトランスポートをステートレス化 —— サーバーレスに載せる道が開き、長時間ワークフローの監視は作り直しへ
MCP の 2026-07-28 版仕様が公開され、トランスポートがステートレス化された。サーバー側でセッション状態を保持する必要が消えるため、リモート MCP サーバーをサーバーレス環境に載せられるようになる一方、数日単位で走るワークフローを接続したまま監視するような使い方は作り直しが必要になる。Zenn 側でもプロトコルコアの再設計点と移行判断を整理した記事が同日に出ており、どこから手を付けるかの見取り図として使える。
WHY THISMCP は focus 領域の中核で、サーバー実装とホスト側の接続前提が変わるため自分の MCP 構成の作り直し判断に直結する。
💬 議論の論点
MCP のリードメンテナが HN のスレッドに登場し、「リモート MCP サーバーをサーバーレスホストに展開したい層にとって嬉しい変更」と位置づけた。歓迎側の論拠は明快で、「セッションを扱うためのサーバー側の複雑さは、インフラにもチームへの教育にも大きな負担だった」「実際のツール呼び出しはもともとステートレスで、get_my_todos の結果は結局コンテキストウィンドウに戻るテキストにすぎない。サーバー側で状態をいつまで RAM に置くのかという問いに答えがない」。懸念側からは「数日かかるワークフローの監視に使っているので変更が必要になる、代替はあるのか」という具体的な影響報告、および数か月前に HTTP/ステートレスへ移行済みという実践者から「信頼性は上がり問題は減った。ただしサーバーが落ちて復帰したときのタイムアウト挙動が Claude Code で問題になった。失敗時にクライアントがどう振る舞うことを期待するのかを明文化してほしい」という要望が出た。
⚖️ Perspectives
ステートレス化はホスティングの選択肢と信頼性を得る代わりに、サーバー側で状態を持つ前提の用途(長時間ジョブの購読、チャネル的な通知)を仕様の外に押し出す。設計としては状態を外部ストアに逃がしてツール呼び出しを冪等に保つ方向が素直だが、それは各サーバー実装の宿題になる。HTTP ヘッダで method 名を運ぶ現行の形すら不要で URL に寄せられるのではないか、という更なる簡素化の提案も出ており、プロトコルの表面積を削る流れは続きそう。
❓ Quick questions
Q. 何が変わったのか。
A. トランスポートがステートレスになり、サーバーがセッション状態を保持し続ける前提が外れた。結果としてサーバーレス環境や複数インスタンス構成に MCP サーバーを載せやすくなる。
Q. 既存サーバーは何を確認すべきか。
A. 接続の持続に依存した機能(長時間ジョブの進捗通知など)が仕様変更の影響を受ける。状態を外部に逃がし、失敗・再接続時の挙動を自前で定義しておく必要がある。
HNSCORE 83points 312 · comments 2342026/7/29
文書を媒介に自己増殖する AI ワーム —— Copilot for Word を乗っ取り、白文字で次の文書へ payload を書き込む
添付文書に仕込んだ攻撃者の指示で Copilot for Word を乗っ取り、出力テキストを改変(例として財務数値を半分にする)した上で、攻撃プロンプト自体を白文字として新しい文書に書き込む脆弱性クラスが、Microsoft (MSRC) との協調開示で公開された。生成された文書が payload を運ぶため、通常の業務フローに沿って AI ワームのように伝播する。Microsoft は 144 日の調整期間に複数の修正を出したが、著者は「検査されるトークン自身が検査に参加してしまい、意図と解釈の間に信頼できる境界が引けない」という現行 LLM の構造的限界に依るため、脆弱性クラス自体は未緩和のまま悪用可能だとしている。
WHY THISエージェントに文書やツール出力を読ませる構成すべてに効く攻撃で、自分のパイプラインの入力境界を見直す材料になる。
💬 議論の論点
HN では著者本人が経緯を説明し、「公開時点でこの脆弱性クラスに対する堅牢な緩和策は存在しない」と明記した点にコメントが集中した。素朴な疑問として「なぜ Word 文書に隠し文字を置けるのか。なぜ AI がそのテキストにアクセスできるのか」「人間のユーザーに見えないものは Copilot に渡す前にフラグを立てるか除去できないのか。ましてその隠し文字を付けたのが Copilot 自身なら」という指摘が並び、モデル側の防御ではなく入力の前処理で切る発想が主流だった。「これが最初の AI ワームなのか、先行事例はあるのか」という問いも立っている。
⚖️ Perspectives
緩和策の置き場所が論点。入力側で切る立場は、可視性(白文字・隠しテキスト・メタデータ)を基準にモデルへ渡す前にサニタイズすべきだと見る。ただし著者の主張どおり「文脈内で指示と情報を区別できない」ことが原因なら、サニタイズは既知の隠蔽手法を潰すだけで、新しい運び方が出れば同じ穴が開く。出力側で切る立場(生成物に payload を書かせない、生成文書を再検査する)と組み合わせないと伝播は止まらない。
❓ Quick questions
Q. ワームと呼べる理由は何か。
A. 改変された出力文書に攻撃プロンプトが白文字で埋め込まれ、その文書を別の利用者が Copilot に読ませると同じ改変が再生産される。通常の共有・編集フローが感染経路になる。
Q. 自分のエージェントで何を確認すべきか。
A. 外部から来る文書・ページ・ツール出力を指示として解釈しうる経路の洗い出しと、生成物に指示文が混入しないかの検査。可視テキストのみを渡す前処理も有効だが、それだけでは根治しない。
ZENNSCORE 792026/7/29
skill を増やすと使われなくなるのか —— 実測したら原因はトークン量ではなかった
Claude Code の skill を増やしすぎると呼ばれなくなるという通説を、実測で検証した記事。筆者の計測では、選択されなくなる主因は skill 定義が食うトークン量ではなかったと報告している。skill を運用の中心に置く構成では「増やす/絞る」の判断根拠が変わるため、手元の skill 群を見直す前に押さえておきたい。
WHY THISfocus 領域(skill 設計)の通説を実測で検証しており、自分の skill 群を増やすか絞るかの判断に直結する。
⚖️ Perspectives
skill が呼ばれない原因をトークン予算に帰す見方(説明文が長い、数が多い)と、選択の仕組みに帰す見方(description の識別性、名前の衝突、発火条件の曖昧さ)では打ち手が正反対になる。前者なら削る・短くするが解になり、後者なら数を保ったまま description を書き直すのが解になる。s01 の「長文ポリシーは効かない」と同じ構図で、量ではなく提示の仕方が効いている可能性が高い。
HATEBUSCORE 78users 252026/7/29
OpenAI が Codex Security CLI をオープンソース公開 —— 脆弱性の発見・検証・修正を CI/CD に組み込める
OpenAI が脆弱性の発見・検証・修正までを行う Codex Security CLI をオープンソースとして公開した。CI/CD パイプラインへの組み込みが想定されているため、エージェントによるセキュリティ検査を人手のレビューの前段に置く構成が取りやすくなる。Codex 本体も同時期の rust-v0.146.0 で Agent Plugins マニフェストや実行環境が提供する skill の発見に対応しており、ハーネスとしての機能追加が続いている。
WHY THIScoding agent の守り側ツールが OSS で出てきた例で、自分のリポジトリの検査を自動化する選択肢が増える。
❓ Quick questions
Q. 何ができるツールなのか。
A. 脆弱性の発見だけでなく、その検証と修正までを一連で行う CLI として公開されている。CI/CD に組み込んでパイプラインの一段として走らせる使い方が案内されている。
Q. 既存の SAST と何が違うのか。
A. 静的解析のルールマッチではなくエージェントが検証と修正案まで出す点が差になる。裏返せば結果の再現性と誤検知の扱いは自分で評価する必要がある。
ZENNSCORE 782026/7/29
並列で走らせた Claude Code の「終わったこと」をどう知るか —— VOICEVOX 読み上げ・Discord 通知・音声委譲の3本が同日に
複数の Claude Code を同時に走らせる運用が広がり、完了や停止をどう検知するかという話題が Zenn で重なった。VOICEVOX 読み上げと Discord 通知でセッションを見張るモニタの自作、Discord を入口にした情報収集パイプライン、音声でエージェントに仕事を委譲するための条件整理という3本が同日に投稿されている。いずれも人間が画面を見ていない前提でハーネス側に通知経路を作る設計で、並列運用のボトルネックが実行ではなく監視側にあることを示している。
WHY THIS並列エージェント運用はスワイプ履歴でも繰り返し好まれた領域で、通知経路の設計はそのまま自分の運用に持ち込める。
⚖️ Perspectives
通知の置き場所で設計が変わる。ローカルの音(読み上げ)は即時性が高く手元での並列作業に向くが、席を離れると届かない。Discord のような外部チャネルはどこでも届き履歴も残るが、往復に遅延があり通知が溜まると読まれなくなる。3本目の「音声から委譲する条件」は、通知を受けた後に人間が何を判断するのかを先に決めておくべきだという整理で、通知経路より判断の粒度が先だという主張として読める。
ZENNSCORE 752026/7/29
自作 API を ChatGPT から呼べるようにする「Super MCP」—— 手元のサービスを MCP 越しに晒す最短経路
自作 API を ChatGPT からアクセス可能にする Super MCP を紹介した記事。既存の API を MCP サーバーとして公開する構成で、クライアント側の対応を待たずに手元のサービスを LLM に繋げられる。s02 のトランスポート・ステートレス化とも噛み合う方向の話で、サーバーを軽く保てるならホスティングの選択肢も広がる。
WHY THISMCP は focus 領域で、API を晒す側の実装パターンとして手を動かす前の参考になる。
ZENNSCORE 752026/7/29
Web 調査をコマンドに変える OpenCLI —— agent-browser にブラウザを渡す方式はもう古いのか
エージェントに Web 調査をさせる手段として、ブラウザ操作を任せる agent-browser 系ではなく、調査手順をコマンドとして与える OpenCLI を紹介した記事。ブラウザ自動化の不安定さと DOM をコンテキストに流し込むトークン消費を避け、調査を再現可能な CLI 呼び出しに落とす発想である。エージェントに何をツールとして渡すかという設計判断の実例として読める。
WHY THISブラウザを渡すか CLI を渡すかはエージェントのツール設計の分岐点で、自分の調査系 skill の作り方に効く。
HATEBUSCORE 74users 612026/7/30
Rails の深刻度「緊急」脆弱性 KindaRails2Shell(CVE-2026-66066)—— GMO Flatt Security が概要と対応指針を公開
深刻度「緊急」と評価された Rails の脆弱性 KindaRails2Shell(CVE-2026-66066)について、GMO Flatt Security Blog が概要と対応指針をまとめた。はてなブックマークで 61 users を集め、影響範囲の切り分けと暫定対応の判断材料として参照されている。Rails を使っているバックエンドを持つなら、当日中に該当バージョンかどうかを確認する類の情報。
WHY THISバックエンド設計の interests 領域で、深刻度が緊急のため該当環境があれば即日の判断対象になる。
LOBSTERSREDDITSCORE 72points 16 · comments 122026/7/29
PostgreSQL の MVCC は本当に劣っているのか —— 他エンジンとのトレードオフ比較が r/programming で議論に
PostgreSQL の MVCC 実装を他のエンジンと比較し、テーブル本体に旧バージョンの行を残す方式が何を得て何を払っているかを整理した記事。r/programming では「PostgreSQL の MVCC は悪い、だが他も同じだ」というタイトルで議論になり、追記型か undo ログ型かはどちらも別の代償を払う設計選択だという読み方に落ち着いている。VACUUM やインデックス肥大の運用コストを、実装上の帰結として理解し直す材料になる。
WHY THISDB の選定と運用コストに直結し、SQLite や D1 のような別モデルと比較する視点が得られる。
REDDITSCORE 722026/7/29
本番の SQLite を詰める —— WAL モード・並行性・VFS 層を低レイテンシのアプリサーバー向けに最適化する
本番環境で SQLite を使う際の WAL モード設定、並行性の扱い、VFS 層の最適化を、低レイテンシのアプリサーバー向けに整理した記事。単一ファイル DB という前提から来る書き込みの直列化と、それを踏まえたチューニングの勘所が扱われている。Cloudflare D1 のように SQLite を土台にしたエッジ DB を使う場合の前提知識としても効く。
WHY THISエッジ実行環境の DB は SQLite を土台にしており、その挙動を掴むことが focus 領域(Cloudflare の原理)の理解に繋がる。
HNZENNSCORE 72points 104 · comments 372026/7/29
Kimi K3 セルフホストの実測 —— ハード費用 +20% でタスク解決率 +20%、同時実行は 24 → 16 に落ちる
2.8兆パラメータの Kimi K3 をセルフホストした場合のコストと性能を、GLM-5.2 との比較で実測した記事。重みを載せるには 8×B200 から 8×B300 への移行が必要でハード費用は約 20% 増、同時実行ユーザー数は 24 から 16 に落ちる一方、SWEBench Pro のサブセットでの解決率は 86% と報告されている。著者自身が HN で「64 タスクのサブセットは Kimi の学習データに含まれる可能性があり、86% は上限値」と明言している点まで含めて読む価値がある。
WHY THISLLM の課金と自前運用の損益分岐は interests 領域で、オープンモデルをどこまで自前に寄せられるかの実数が得られる。
💬 議論の論点
HN には著者(チームの一員)が現れ、月曜の重み公開を受けて記事を更新したこと、そして 86% が上限値であることを自ら開示した。批判として最も支持されたのは価格の欠落で、「どの箱を買うか」を実価格なしに論じるのは意味がないという指摘。量子化版との比較を求める声も強く、遊休の A6000 で Qwen3.6-35B-A3B を int4 で回している例や、LM Studio 上の gemma-4-26b-a4b が「アプリを丸ごと作れ」ではなく「X をどう進めるか」「語彙のニュアンスの説明」といった用途では驚くほど使えるという報告が並んだ。同時実行数の低下については「無人フローに切り替えて支援不要のタスクを空き時間にルーティングすれば済む。15 年前に夜間バッチで MapReduce を回していたのと同じ扱いになる」という見方も出ている。
⚖️ Perspectives
セルフホストの是非は「同時実行数の低下をどう埋めるか」に収束する。対話的な利用が主なら 24→16 の低下は体験に直撃するが、無人実行が主ならスケジューリングで吸収できる。加えて評価値の扱いに注意が要る。著者が上限値と認めているとおり、ベンチマークのサブセットが学習データに混入している可能性があるため、+20% の解決率向上をそのまま自分のタスクに当てはめられない。
HNSCORE 73points 556 · comments 1912026/7/30
Gemma 4 26B を 2GB RAM の M シリーズ Mac で動かす OSS エンジン turbo-fieldfare —— expert キャッシュで SSD 読みを抑える
MoE モデルの expert を必要な分だけ読み込む設計で、Gemma 4 26B を 2GB RAM の M シリーズ Mac 上で動かすオープンソースエンジンが HN で 556pt を集めた。8GB の M2 MacBook Air で 5〜6 tok/s、M5 MacBook Pro で 31〜35 tok/s と報告され、コメントではこの性能差が SSD 速度だけでは説明しづらい点や、トークンごとに expert がどれだけ切り替わるのかの統計が論点になっている。ローカル推論をどこまで小さいメモリに押し込めるかの実例として読める。
WHY THISローカル LLM に必要なメモリの常識を一段押し下げる実装で、手元の Mac で試せる範囲が広がる。
💬 議論の論点
HN の関心は expert キャッシュの効き方に集まった。「トークンごとに選ばれる expert が大きく変わるなら SSD 読みが毎トークン発生して遅くなると思っていたが、そうではないらしい。expert が切り替わる頻度の統計はあるか、切り替えなしで続く最長のトークン列はどんなものか、どんな場合に頻繁に切り替わるのか」という問いが最上位に付いている。また「M2 Air の 5〜6 tok/s と M5 Pro の 31〜35 tok/s という開きは、SSD 性能差だけでは素朴には説明できない」という疑問、「RAM が十分にあってモデルを全部載せられる場合はこのエンジンを使うべきではないのか」という適用範囲の確認も出た。
💡 Did you know?
MoE(Mixture of Experts)では 1 トークンの生成で全パラメータを使うわけではなく、ルーターが選んだ一部の expert だけが活性化する。だからこそ「必要な expert だけを SSD から読み、残りは載せない」という戦略が成立し、26B のモデルが 2GB の RAM に収まる。逆に密なモデルでは同じ手が使えない。
ZENNSCORE 652026/7/29
LLM モデルの差し替えを自動化する llm-replacer —— 新モデルが出るたびの書き換えを機械にやらせる
アプリケーション内で使う LLM モデルの差し替えを自動化するツール llm-replacer を紹介した記事。モデル ID の書き換えと動作確認を手作業で繰り返す負荷を下げる狙いで、モデル更新の追随そのものをワークフロー化する発想である。Opus 5 のような世代交代が数週間おきに来る状況では、差し替え作業を人手に残すこと自体が滞留の原因になる。
WHY THISLLM アプリの運用コストを直接下げる小道具で、モデル更新に追随する型として参考になる。
ZENNSCORE 612026/7/29
OpenTelemetry Collector を分解して読む+Playwright×AI パイプラインへの OTel 導入記
OpenTelemetry Collector の中身を構成要素まで分解して理解しようとした記事と、ブラウザ自動化(Playwright)と AI を組み合わせたパイプラインに OTel を導入した実践記が同日に上がった。LLM を含むパイプラインは失敗が確率的で再現しづらいため、どこに計測を仕込むかが運用の分かれ目になる。Collector の役割を押さえることは、エージェントのトレースをどこに集約するかの判断に直結する。
WHY THISLLM アプリの計測は interests 領域で、エージェントのトレース設計を考える下地になる。
HATEBUSCORE 49🎲 SERENDIPITYusers 1142026/7/29
現役 Apple マップエンジニアが書いた『ヤバい日本の住所』—— 住所表記の破綻を当事者が正面から整理(はてブ 114users)
Apple マップの現役エンジニアが日本の住所表記の難しさを扱った書籍『ヤバい日本の住所』が出版された。地番と住居表示の混在、京都の通り名、大字・小字といった、住所を正規化しようとすると必ず踏む問題を、地図データを扱う当事者の視点から整理している。住所をデータとして扱うシステムを書く側には、設計前に読んでおくと事故を減らせる類の内容。
WHY THIS興味プロファイルからは外れるが、住所を扱うバックエンドを書くときに必ず刺さる領域の一次情報として拾った。
LOBSTERSSCORE 51🎲 SERENDIPITYpoints 52 · comments 152026/7/29
平均は何も意味しない —— 性能計測の代表値として平均を出すことの危うさ(lobste.rs 52pt)
性能計測の要約値として平均を出すことの問題を扱った記事が lobste.rs で上位に入った。分布が歪んでいたり外れ値を含む場合、平均は誰の体験も代表せず、パーセンタイルや分布そのものを見る必要があるという主張である。ベンチマークやレイテンシの読み方の話だが、LLM の応答時間やトークン消費の計測にもそのまま当てはまる。
WHY THIS計測結果の読み方という横断的な話で、自分がベンチマークを取るときの報告形式を見直す材料になる。
RELEASE WATCH
anthropics/claude-code
- v2.1.220 2026/7/25
バグ修正と信頼性の改善のみで、新機能の記載はない。
- v2.1.219 2026/7/25
Claude Opus 5(`claude-opus-5`)を追加し既定の Opus モデルに変更(1M コンテキスト、fast mode は $10/$50 per Mtok)。許可リスト外ホストを確認なしで拒否する `sandbox.network.strictAllowlist`、`/add-dir` 後に発火する `DirectoryAdded` フック、`workflowSizeGuideline` 設定キー、stream-json での深さ2以上のサブエージェント転送も追加された。
- v2.1.218 2026/7/23
`/code-review` をバックグラウンドのサブエージェント実行に変更し、レビュー作業で会話が埋まらないようにした。Windows の `\u` を含むパスが CJK 文字に化けてファイルにアクセスできなくなる問題、左矢印キーで会話が取り消し不能に破棄される問題、`/code-review ultra` が非対話セッションで黙ってローカルレビューに落ちる問題を修正。
- v2.1.217 2026/7/22
切り詰めた MCP ツール出力の元データがセッション中メモリに残り続けるリークと、バックグラウンドセッションがシンボリックリンクを正規化せずワークスペース外に出られる問題を修正。プロンプト入力の絵文字ショートコード補完や、トランスクリプト書き込み失敗時の警告表示も追加された。
- v2.1.216 2026/7/21
ネットワーク制御を保ったままファイルシステム隔離を省く `sandbox.filesystem.disabled` を追加。長時間セッションでメッセージ正規化コストがターン数に対して二次関数的に増えていた遅延を修正し、worktree 分離サブエージェントが `git -C` などで共有チェックアウトに書き込めてしまう問題も塞いだ。
openai/codex
FETCH STATUS
- OKHN50件
- OKZENN50件
- OKQIITA4件無認証60req/h・過去48hフィルタ後の件数
- OKHATEBU30件
- OKGHTREND13件
- OKREDDIT25件r/FlutterDev と r/ClaudeAI が 429 で部分取得(r/programming のみ成功)
- OKLOBSTERS25件
- OKAGENTS30件