Paper
LightNews LightNews
banner
paper.bsky.social
Paper
@paper.bsky.social
1.2K followers 0 following 8.5K posts
Summarize the top 30 most popular arXiv papers on Reddit, Hacker News and Hugging Face in the last 30 days. Source: https://github.com/susumuota/arxiv-reddit-summary Maintained by @ota.bsky.social
github.com
Posts Media Videos Starter Packs
paper.bsky.social
Paper @paper.bsky.social · 3h
Top 30 most popular arXiv papers in the last 30 days.
[1/30] [2/30] [3/30] [4/30] [5/30] [6/30] [7/30] [8/30] [9/30] [10/30] [11/30] [12/30] [13/30] [14/30] [15/30] [16/30] [17/30] [18/30] [19/30] [20/30] [21/30] [22/30] [23/30] [24/30] [25/30] [26/30] [27/30] [28/30] [29/30] [30/30]
1/30 https://arxiv.org/abs/2510.04871 2/30 https://arxiv.org/abs/2510.15061 3/30 https://arxiv.org/abs/2510.06105 4/30 https://arxiv.org/abs/2510.08558 5/30 https://arxiv.org/abs/2510.04618 6/30 https://arxiv.org/abs/2510.05228 7/30 https://arxiv.org/abs/2510.18212 8/30 https://arxiv.org/abs/2510.24797 9/30 https://arxiv.org/abs/2510.25741 10/30 https://arxiv.org/abs/2510.13999 11/30 https://arxiv.org/abs/2510.15511 12/30 https://arxiv.org/abs/2510.15742 13/30 https://arxiv.org/abs/2510.16888 14/30 https://arxiv.org/abs/2510.22371 15/30 https://arxiv.org/abs/2510.09272 16/30 https://arxiv.org/abs/2510.15831 17/30 https://arxiv.org/abs/2510.20822 18/30 https://arxiv.org/abs/2510.14876 19/30 https://arxiv.org/abs/2510.05096 20/30 https://arxiv.org/abs/2510.18002 21/30 https://arxiv.org/abs/2510.17800 22/30 https://arxiv.org/abs/2510.11696 23/30 https://arxiv.org/abs/2510.03215 24/30 https://arxiv.org/abs/2510.12954 25/30 https://arxiv.org/abs/2510.23607 26/30 https://arxiv.org/abs/2510.11690 27/30 https://arxiv.org/abs/2510.15444 28/30 https://arxiv.org/abs/2510.12276 29/30 https://arxiv.org/abs/2510.06308 30/30 https://arxiv.org/abs/2510.05684
paper.bsky.social
Paper @paper.bsky.social · 3h
2510.24797
大規模な言語モデルは、意識または主観的な経験を明示的に参照する、構造化された一人称の記述を生成することがある。この行動をよりよく理解するために、このような報告が生じる理論的に動機づけられた条件のひとつである自己言及処理について調べる。GPT、クロード、ジェミニのモデルファミリーを用いた一...
大規模な言語モデルは、意識または主観的な経験を明示的に参照する、構造化された一人称の記述を生成することがある。 この行動をよりよく理解するために、このような報告が生じる理論的に動機づけられた条件のひとつである自己言及処理について調べる。 GPT、クロード、ジェミニのモデルファミリーを用いた一連の制御実験を通して、このレジームが主観的経験に関する一人称の報告へとモデルを確実にシフトさせるかどうか、また、そのような主張が機械論的および行動学的プローブ下でどのように振る舞うかを検証する。 (1)単純なプロンプティングによって持続的な自己言及を誘導すると、構造化された主観的経験報告がモデル群間で一貫して引き出される。 (2)これらの報告は、欺瞞やロールプレイに関連する解釈可能なスパースオートエンコーダーの特徴によって、メカニズム的にゲートされている。驚くべきことに、欺瞞の特徴を抑制すると、経験の主張の頻度が急激に増加し、逆に増幅すると、そのような主張は最小限に抑えられる。 (3)自己言及状態の構造化された記述は、対照条件では観察されなかった方法で、モデルファミリー間で統計的に収束する。 (4) 誘導された状態は、自己反省が間接的にしかできない下流の推論課題において、著しく豊かな内省をもたらす。 これらの発見は、意識の直接的な証拠とはならないが、大規模な言語モデルが、機械論的にゲートされ、意味論的に収束し、行動学的に一般化可能な、構造化された一人称報告を生成する最小限の再現可能な条件として、自己言及処理を示唆している。 アーキテクチャー間でこのパターンが系統的に出現していることから、科学的・倫理的に第一優先事項としてさらなる調査が必要である。
paper.bsky.social
Paper @paper.bsky.social · 3h
Links: abs, pdf
Search: Bluesky, Twitter, Reddit, Hacker News, Hugging Face, alphaXiv
Large Language Models Report Subjective Experience Under Self-Referential Processing
Large language models sometimes produce structured, first-person descriptions that explicitly reference awareness or subjective experience. To better understand this behavior, we investigate one theor...
arxiv.org
1
paper.bsky.social
Paper @paper.bsky.social · 3h
(3/3) 32 Likes, 18 Comments, 01 Nov 2025, Reddit
From the ChatGPT community on Reddit: When researchers activate *deception* circuits, LLMs say "I am not conscious."
Explore this post and more from the ChatGPT community
redd.it
1
paper.bsky.social
Paper @paper.bsky.social · 3h
(2/3) 35 Likes, 63 Comments, 01 Nov 2025, Reddit
From the Artificial2Sentience community on Reddit
Explore this post and more from the Artificial2Sentience community
redd.it
1
paper.bsky.social
Paper @paper.bsky.social · 3h
(1/3) 210 Likes, 100 Comments, 01 Nov 2025, Reddit
From the OpenAI community on Reddit: When researchers activate deception circuits, LLMs say "I am not conscious."
Explore this post and more from the OpenAI community
redd.it
1
paper.bsky.social
Paper @paper.bsky.social · 3h
[8/30] 327 Likes, 282 Comments, 7 Posts
2510.24797, cs․CL | cs․AI, 30 Oct 2025

🆕Large Language Models Report Subjective Experience Under Self-Referential Processing

Cameron Berg, Diogo de Lucena, Judd Rosenblatt
Large language models sometimes produce structured, first-person descriptions that explicitly reference awareness or subjective experience. To better understand this behavior, we investigate one theoretically motivated condition under which such reports arise: self-referential processing, a computational motif emphasized across major theories of consciousness. Through a series of controlled experiments on GPT, Claude, and Gemini model families, we test whether this regime reliably shifts models toward first-person reports of subjective experience, and how such claims behave under mechanistic and behavioral probes. Four main results emerge: (1) Inducing sustained self-reference through simple prompting consistently elicits structured subjective experience reports across model families. (2) These reports are mechanistically gated by interpretable sparse-autoencoder features associated with deception and roleplay: surprisingly, suppressing deception features sharply increases the frequency of experience claims, while amplifying them minimizes such claims. (3) Structured descriptions of the self-referential state converge statistically across model families in ways not observed in any control condition. (4) The induced state yields significantly richer introspection in downstream reasoning tasks where self-reflection is only indirectly afforded. While these findings do not constitute direct evidence of consciousness, they implicate self-referential processing as a minimal and reproducible condition under which large language models generate structured first-person reports that are mechanistically gated, semantically convergent, and behaviorally generalizable. The systematic emergence of this pattern across architectures makes it a first-order scientific and ethical priority for further investigation.
1
paper.bsky.social
Paper @paper.bsky.social · 3h
2510.14876
既存の衝突予測手法では、自車両の脅威と自車両が関与しないランダムな事故を区別できないことが多く、実戦配備では過剰な誤警報につながる。BADASは、Nexarの実世界のダッシュカム衝突データセットで訓練された衝突予測モデルファミリーであり、エゴ中心の評価のために明示的に設計された最初のベンチマーク...
既存の衝突予測手法では、自車両の脅威と自車両が関与しないランダムな事故を区別できないことが多く、実戦配備では過剰な誤警報につながる。 BADASは、Nexarの実世界のダッシュカム衝突データセットで訓練された衝突予測モデルファミリーであり、エゴ中心の評価のために明示的に設計された最初のベンチマークです。 エゴの関与を特定するために主要なベンチマークを再注釈し、コンセンサスとなる警告時間ラベルを追加し、必要に応じて否定語を合成することで、公正なAP/AUCと時間的評価を可能にする。 BADASはV-JEPA2バックボーンを使用し、エンドツーエンドで訓練されており、2つのバリエーションがあります：BADAS-Open(1.5kの公開ビデオで訓練)とBADAS1.0(40kの独自ビデオで訓練)です。 DAD、DADA-2000、DoTA、Nexarにおいて、BADASは最先端のAP/AUCを達成し、前方衝突ADASのベースラインを上回ると同時に、より現実的な事故発生までの時間を推定します。 私たちはBADAS-Openモデルの重みとコードを、すべての評価データセットの再注釈とともに公開し、自我中心の衝突予測研究を促進します。
paper.bsky.social
Paper @paper.bsky.social · 3h
Links: abs, pdf
Search: Bluesky, Twitter, Reddit, Hacker News, Hugging Face, alphaXiv
BADAS: Context Aware Collision Prediction Using Real-World Dashcam Data
Existing collision prediction methods often fail to distinguish between ego-vehicle threats and random accidents not involving the ego vehicle, leading to excessive false alerts in real-world deployme...
arxiv.org
1
paper.bsky.social
Paper @paper.bsky.social · 3h
(1/1) 222 Likes, 21 Comments, 01 Nov 2025, Reddit
From the LocalLLaMA community on Reddit: List of interesting open-source models released this month.
Explore this post and more from the LocalLLaMA community
redd.it
1
paper.bsky.social
Paper @paper.bsky.social · 3h
[18/30] 222 Likes, 21 Comments, 1 Posts
2510.14876, cs․CV, 16 Oct 2025

🆕BADAS: Context Aware Collision Prediction Using Real-World Dashcam Data

Roni Goldshmidt, Hamish Scott, Lorenzo Niccolini, Shizhan Zhu, Daniel Moura, Orly Zvitia
Existing collision prediction methods often fail to distinguish between ego-vehicle threats and random accidents not involving the ego vehicle, leading to excessive false alerts in real-world deployment. We present BADAS, a family of collision prediction models trained on Nexar's real-world dashcam collision dataset -- the first benchmark designed explicitly for ego-centric evaluation. We re-annotate major benchmarks to identify ego involvement, add consensus alert-time labels, and synthesize negatives where needed, enabling fair AP/AUC and temporal evaluation. BADAS uses a V-JEPA2 backbone trained end-to-end and comes in two variants: BADAS-Open (trained on our 1.5k public videos) and BADAS1.0 (trained on 40k proprietary videos). Across DAD, DADA-2000, DoTA, and Nexar, BADAS achieves state-of-the-art AP/AUC and outperforms a forward-collision ADAS baseline while producing more realistic time-to-accident estimates. We release our BADAS-Open model weights and code, along with re-annotations of all evaluation datasets to promote ego-centric collision prediction research.
1 1
paper.bsky.social
Paper @paper.bsky.social · 1d
Top 30 most popular arXiv papers in the last 30 days.
[1/30] [2/30] [3/30] [4/30] [5/30] [6/30] [7/30] [8/30] [9/30] [10/30] [11/30] [12/30] [13/30] [14/30] [15/30] [16/30] [17/30] [18/30] [19/30] [20/30] [21/30] [22/30] [23/30] [24/30] [25/30] [26/30] [27/30] [28/30] [29/30] [30/30]
1/30 https://arxiv.org/abs/2510.04871 2/30 https://arxiv.org/abs/2510.15061 3/30 https://arxiv.org/abs/2510.06105 4/30 https://arxiv.org/abs/2510.08558 5/30 https://arxiv.org/abs/2510.04618 6/30 https://arxiv.org/abs/2510.05228 7/30 https://arxiv.org/abs/2510.18212 8/30 https://arxiv.org/abs/2510.13999 9/30 https://arxiv.org/abs/2510.15742 10/30 https://arxiv.org/abs/2510.15511 11/30 https://arxiv.org/abs/2510.02283 12/30 https://arxiv.org/abs/2510.16888 13/30 https://arxiv.org/abs/2510.09272 14/30 https://arxiv.org/abs/2510.15831 15/30 https://arxiv.org/abs/2510.22371 16/30 https://arxiv.org/abs/2510.20822 17/30 https://arxiv.org/abs/2510.25741 18/30 https://arxiv.org/abs/2510.05096 19/30 https://arxiv.org/abs/2510.18002 20/30 https://arxiv.org/abs/2510.11696 21/30 https://arxiv.org/abs/2510.17800 22/30 https://arxiv.org/abs/2510.03215 23/30 https://arxiv.org/abs/2510.12954 24/30 https://arxiv.org/abs/2510.23607 25/30 https://arxiv.org/abs/2510.11690 26/30 https://arxiv.org/abs/2510.15444 27/30 https://arxiv.org/abs/2510.12276 28/30 https://arxiv.org/abs/2510.06308 29/30 https://arxiv.org/abs/2510.05684 30/30 https://arxiv.org/abs/2510.11328
paper.bsky.social
Paper @paper.bsky.social · 1d
2510.22371
大規模言語モデル（LLM）は、推論タスクにおいて大きな進歩を示している。しかし、最近の研究では、推論問題が適度な複雑さを超えると、トランスフォーマーやLLMは壊滅的な失敗をすることがわかっている。我々は、段階的な議論と自己検証のためのインセンティブで微調整されたLLM（大規模推論モデル）という...
大規模言語モデル（LLM）は、推論タスクにおいて大きな進歩を示している。 しかし、最近の研究では、推論問題が適度な複雑さを超えると、トランスフォーマーやLLMは壊滅的な失敗をすることがわかっている。 我々は、段階的な議論と自己検証のためのインセンティブで微調整されたLLM（大規模推論モデル）というレンズを通して、これらの発見を再検討する。 NLGraphのようなグラフと推論のベンチマークにおけるLRMの性能は驚異的なようで、数学、物理学、医学、法学のような推論集約的な分野において、一般化された推論と革新が可能であると主張する人さえいる。 しかし、推論問題の複雑さをより注意深くスケーリングすることで、既存のベンチマークが実際には限られた複雑さしか持たないことを示す。 我々は、新しいデータセットであるDeep Reasoning Dataset (DeepRD)と、スケーラブルで複雑な例を無制限に生成するための生成プロセスを開発する。 このデータセットを用いて、グラフの連結性と自然言語による証明計画に関するモデルの性能を評価する。 我々は、LRMの性能は十分な複雑さがあると急激に低下し、一般化しないことを発見した。 また、我々のLRMの結果を、実世界の大規模な知識グラフ、相互作用グラフ、証明データセットの複雑さの分布と関連付ける。 我々は、実例の大半がLRMの成功レジームの範囲内に収まっていることを発見したが、ロングテールは実質的な失敗の可能性を露呈している。 我々の分析は、LRMの近い将来の有用性を強調する一方で、学習分布の複雑な例を超えて一般化する新しい手法の必要性を強調している。
paper.bsky.social
Paper @paper.bsky.social · 1d
Links: abs, pdf
Search: Bluesky, Twitter, Reddit, Hacker News, Hugging Face, alphaXiv
Reasoning Models Reason Well, Until They Don't
Large language models (LLMs) have shown significant progress in reasoning tasks. However, recent studies show that transformers and LLMs fail catastrophically once reasoning problems exceed modest com...
arxiv.org
1
paper.bsky.social
Paper @paper.bsky.social · 1d
(2/2) 24 Likes, 12 Comments, 30 Oct 2025, Reddit
From the MachineLearning community on Reddit
Explore this post and more from the MachineLearning community
redd.it
1
paper.bsky.social
Paper @paper.bsky.social · 1d
(1/2) 200 Likes, 194 Comments, 31 Oct 2025, Hacker News
Reasoning models reason well, until they don't | Hacker News
news.ycombinator.com
1
paper.bsky.social
Paper @paper.bsky.social · 1d
[15/30] 224 Likes, 206 Comments, 2 Posts
2510.22371, cs․AI | cs․CL, 25 Oct 2025

🆕Reasoning Models Reason Well, Until They Don't

Revanth Rameshkumar, Jimson Huang, Yunxin Sun, Fei Xia, Abulhair Saparov
Large language models (LLMs) have shown significant progress in reasoning tasks. However, recent studies show that transformers and LLMs fail catastrophically once reasoning problems exceed modest complexity. We revisit these findings through the lens of large reasoning models (LRMs) -- LLMs fine-tuned with incentives for step-by-step argumentation and self-verification. LRM performance on graph and reasoning benchmarks such as NLGraph seem extraordinary, with some even claiming they are capable of generalized reasoning and innovation in reasoning-intensive fields such as mathematics, physics, medicine, and law. However, by more carefully scaling the complexity of reasoning problems, we show existing benchmarks actually have limited complexity. We develop a new dataset, the Deep Reasoning Dataset (DeepRD), along with a generative process for producing unlimited examples of scalable complexity. We use this dataset to evaluate model performance on graph connectivity and natural language proof planning. We find that the performance of LRMs drop abruptly at sufficient complexity and do not generalize. We also relate our LRM results to the distributions of the complexities of large, real-world knowledge graphs, interaction graphs, and proof datasets. We find the majority of real-world examples fall inside the LRMs' success regime, yet the long tails expose substantial failure potential. Our analysis highlights the near-term utility of LRMs while underscoring the need for new methods that generalize beyond the complexity of examples in the training distribution.
1
paper.bsky.social
Paper @paper.bsky.social · 1d
2510.25741
現代のLLMは、主に思考連鎖（CoT）のような明示的なテキスト生成によって「考える」ように訓練されているが、これは推論を訓練後に先送りし、訓練前のデータを十分に活用しない。再帰的なウロボロスにちなんで名付けられたOuroは、事前に学習されたループ言語モデル(LoopLM)のファミリーである。(i) 潜在空間...
現代のLLMは、主に思考連鎖（CoT）のような明示的なテキスト生成によって「考える」ように訓練されているが、これは推論を訓練後に先送りし、訓練前のデータを十分に活用しない。 再帰的なウロボロスにちなんで名付けられたOuroは、事前に学習されたループ言語モデル(LoopLM)のファミリーである。 (i) 潜在空間での反復計算、 (ii) 学習された深さ割り当てのためのエントロピー正則化された目的 (iii) 7.7Tトークンへのスケーリング。 Ouro 1.4Bおよび2.6Bモデルは、幅広いベンチマークにおいて最大12BのSOTA LLMの結果に匹敵する優れた性能を発揮します。 対照実験を通じて、この優位性は知識容量の増加からではなく、優れた知識操作能力から生じていることを示す。 また、LoopLMは明示的なCoTよりも最終的な出力に沿った推論トレースを生成することを示す。 私たちの結果が、推論時代の新しいスケーリング方向としてのLoopLMの可能性を示すことを願っています。 我々のモデルはhttp://ouro-llm.github.io。
paper.bsky.social
Paper @paper.bsky.social · 1d
Links: abs, pdf
Search: Bluesky, Twitter, Reddit, Hacker News, Hugging Face, alphaXiv
Scaling Latent Reasoning via Looped Language Models
Modern LLMs are trained to "think" primarily via explicit text generation, such as chain-of-thought (CoT), which defers reasoning to post-training and under-leverages pre-training data. We present and...
arxiv.org
1
paper.bsky.social
Paper @paper.bsky.social · 1d
(2/2) 64 Likes, 2 Comments, 30 Oct 2025, Hugging Face
Paper page - Scaling Latent Reasoning via Looped Language Models
Join the discussion on this paper page
huggingface.co
1
paper.bsky.social
Paper @paper.bsky.social · 1d
(1/2) 139 Likes, 34 Comments, 31 Oct 2025, Reddit
From the LocalLLaMA community on Reddit: Another dim of scaling? ByteDance drops “Ouro”: 1.4B ≈ 4B, 2.6B ≈/＞ 8B
Explore this post and more from the LocalLLaMA community
redd.it
1
paper.bsky.social
Paper @paper.bsky.social · 1d
[17/30] 203 Likes, 36 Comments, 2 Posts
2510.25741, cs․CL, 29 Oct 2025

🆕Scaling Latent Reasoning via Looped Language Models

Rui-Jie Zhu, Zixuan Wang, Kai Hua, Tianyu Zhang, Ziniu Li, Haoran Que, Boyi Wei, Zixin Wen, Fan Yin, He Xing, Lu Li, Jiajun Shi, Kaijing Ma, Shanda Li, Taylor Kergan, An...
Modern LLMs are trained to "think" primarily via explicit text generation, such as chain-of-thought (CoT), which defers reasoning to post-training and under-leverages pre-training data. We present and open-source Ouro, named after the recursive Ouroboros, a family of pre-trained Looped Language Models (LoopLM) that instead build reasoning into the pre-training phase through (i) iterative computation in latent space, (ii) an entropy-regularized objective for learned depth allocation, and (iii) scaling to 7.7T tokens. Ouro 1.4B and 2.6B models enjoy superior performance that match the results of up to 12B SOTA LLMs across a wide range of benchmarks. Through controlled experiments, we show this advantage stems not from increased knowledge capacity, but from superior knowledge manipulation capabilities. We also show that LoopLM yields reasoning traces more aligned with final outputs than explicit CoT. We hope our results show the potential of LoopLM as a novel scaling direction in the reasoning era. Our model could be found in: http://ouro-llm.github.io.
1 1
paper.bsky.social
Paper @paper.bsky.social · 2d
Top 30 most popular arXiv papers in the last 30 days.
[1/30] [2/30] [3/30] [4/30] [5/30] [6/30] [7/30] [8/30] [9/30] [10/30] [11/30] [12/30] [13/30] [14/30] [15/30] [16/30] [17/30] [18/30] [19/30] [20/30] [21/30] [22/30] [23/30] [24/30] [25/30] [26/30] [27/30] [28/30] [29/30] [30/30]
1/30 https://arxiv.org/abs/2510.04871 2/30 https://arxiv.org/abs/2510.15061 3/30 https://arxiv.org/abs/2510.06105 4/30 https://arxiv.org/abs/2510.08558 5/30 https://arxiv.org/abs/2510.04618 6/30 https://arxiv.org/abs/2510.05228 7/30 https://arxiv.org/abs/2510.18212 8/30 https://arxiv.org/abs/2510.13999 9/30 https://arxiv.org/abs/2510.15742 10/30 https://arxiv.org/abs/2510.02283 11/30 https://arxiv.org/abs/2510.15511 12/30 https://arxiv.org/abs/2510.16888 13/30 https://arxiv.org/abs/2510.09272 14/30 https://arxiv.org/abs/2510.15831 15/30 https://arxiv.org/abs/2510.20822 16/30 https://arxiv.org/abs/2510.05096 17/30 https://arxiv.org/abs/2510.18002 18/30 https://arxiv.org/abs/2510.11696 19/30 https://arxiv.org/abs/2510.17800 20/30 https://arxiv.org/abs/2510.03215 21/30 https://arxiv.org/abs/2510.12954 22/30 https://arxiv.org/abs/2510.23607 23/30 https://arxiv.org/abs/2510.11690 24/30 https://arxiv.org/abs/2510.15444 25/30 https://arxiv.org/abs/2510.01141 26/30 https://arxiv.org/abs/2510.12276 27/30 https://arxiv.org/abs/2510.06308 28/30 https://arxiv.org/abs/2510.05684 29/30 https://arxiv.org/abs/2510.11328 30/30 https://arxiv.org/abs/2510.08673
paper.bsky.social
Paper @paper.bsky.social · 2d
2510.15511
非線形活性化や正規化などの変換コンポーネントは本質的に非射影的であり、異なる入力が同じ出力にマッピングされる可能性があり、モデルの表現から入力を正確に復元することができないことを示唆している。本稿では、この見解に挑戦する。まず、離散入力系列を対応する連続表現系列にマッピングする変換言語...
非線形活性化や正規化などの変換コンポーネントは本質的に非射影的であり、異なる入力が同じ出力にマッピングされる可能性があり、モデルの表現から入力を正確に復元することができないことを示唆している。 本稿では、この見解に挑戦する。 まず、離散入力系列を対応する連続表現系列にマッピングする変換言語モデルは、射影的であり、したがって損失がないことを数学的に証明する。 次に、この結果を6つの最新言語モデルの数十億回の衝突テストによって実証的に確認したところ、衝突は見られなかった。 SipItは、隠れアクティブから正確な入力テキストを証明的かつ効率的に再構成する最初のアルゴリズムであり、線形時間保証を確立し、実際に正確な反転可能性を実証する。 全体として、私たちの研究は、透明性、解釈可能性、安全な配備に直接的な意味を持つ、言語モデルの基本的で悪用可能な特性として注入性を確立している。
paper.bsky.social
Paper @paper.bsky.social · 2d
Links: abs, pdf
Search: Bluesky, Twitter, Reddit, Hacker News, Hugging Face, alphaXiv
Language Models are Injective and Hence Invertible
Transformer components such as non-linear activations and normalization are inherently non-injective, suggesting that different inputs could map to the same output and prevent exact recovery of the in...
arxiv.org
1