TimeDistill: Efficient Long-Term Time Series Forecasting with MLP via Cross-Architecture Distillation

ATT-0367 A路独立评审

论文：TimeDistill: Efficient Long-Term Time Series Forecasting with MLP via Cross-Architecture Distillation

版本：2502.15016v3；评审日期：2026-11-08。

阅读判断

TimeDistill的实验贡献值得保留：它让最终部署的学生仍是小MLP，通过离线教师监督改善预测，并提供多教师、多学生、多输入长度和组件消融。对需要轻量推理的人，建议定向阅读第4节方法和表4、附录T。与此同时，本版把蒸馏解释成mixup上界的理论部分有可以构造反例的错误，不能作为一般化改善的证明。应把“训练损失在这些基准上有效”与“所给定理证明了为何有效”拆开评价，前者不因后者失败而自动归零。

方法与创新

论文针对长序列预测中复杂教师推理慢、学生容量有限的矛盾。学生是分解加两层MLP，按通道独立共享使用；训练时固定教师，通过输出及隐特征的两类损失传知识：一类在不同下采样尺度匹配MSE，一类取FFT振幅、去直流分量、低温softmax之后匹配KL。教师与学生特征维数不同，则先用可训练regressor对齐。这是可以理解和组合的时序蒸馏设计，部署不需要教师，成本主要转到训练端。第2节已讨论CAKD、LightTS，附录M又加入DE-TSMCL与LightCTS*；因此最可靠的新意是多尺度、多周期与跨架构蒸馏的具体结合，不是仅凭“首次”措辞认定蒸馏概念原创。本次未进一步读取两项最接近前作全文，原创性评分暂定，首次公开时间按2025年2月而不是KDD2026计。

第3节样本胜率约一半提示两模型误差分布不同，但不能单独证明“最小重合”的互补特征。多数样本上赢而平均MSE输，也可能来自少数大误差。输出频谱匹配是明确操作，隐特征维度上的FFT则未必有物理时间轴含义，跨架构隐空间也可重排；所以所谓“特征周期”更适合先读作特征正则，而非已经证实恢复真实周期机制。通道独立学生在训练时学到共享统计，不代表推理时能响应未输入的其他通道变化，图9相关矩阵相似不能单独建立动态跨变量依赖能力。

关键理论核对

第4.3节定理4.2及附录A.2使用Qy加ηQt作为mixup目标，却没有除以1+η。两个Q均归一化时，该目标质量为1+η，不是概率分布。原PDF第12页对log-sum不等式的应用得到分母(1+η)Qs，下一行却直接写成KL(Qy+ηQt,Qs)，丢掉了归一化项。可以不运行任何模型就检验：取学生预测、教师预测和真值完全相同、η大于0，左侧MSE与KL均为0；右侧按文中sum p log(p/q)定义等于(1+η)log(1+η)，严格为正，违背所称上界。因此该理论主张在写定条件下失效，必须单独暂停使用，不能由总体评分平均掉。

另一个独立断点是把高温极限KL直接等同原MSE。没有温度平方缩放等条件，有限logit的softmax在温度趋于无穷时趋向均匀，KL趋零；而本文实际温度是0.5，并非高温极限。其X还从方法中的振幅频谱简写成softmax(FFT)，相位和复数定义均未对齐。定理4.1的证明也把各尺度已下采样的学生量替换成同一个原尺度学生量，将长度不同的教师预测直接相加，并存在权重索引计数不一致。标准同维度平方损失确实有标签混合的Jensen关系，但尚不能覆盖论文式(4)的实际多尺度目标，更不能自动推出泛化或训练稳定性收益。这些是局部理论贡献的实质问题，不是对作者动机的判断。

基线、消融和报告一致性

实验的积极面相当明确：八个常见数据集覆盖四种预测长度，固定720输入；附录C说明统一Time-Series-Library、drop_last=False，学生基线与蒸馏学生仅差损失；附录P控制不同归一化，附录M比较相关KD，附录B列五个随机种子的均值与标准差。这比只有若干展示图更可核查。表1多数数据集有优势，Traffic的iTransformer MSE更低，应如实保留。教师默认参数和学生损失搜索的总预算尚未完全等同，固定输入长度的公平性也不等于每个基线都达到其最佳成本精度点。

表4和附录T覆盖预测级、特征级、多尺度、多周期及去监督损失，这是较完整的组件证据。多周期项在ModernTCN教师下贡献很小，在iTransformer下明显，这支持教师依赖性，而非每个组件普遍不可缺少。附录I还直接用真值的尺度/频谱监督学生，是重要的替代解释控制。不过若干叙述明显过宽：去监督在Traffic MSE为0.506，比学生0.434、教师0.413都差，第7—8页却笼统说仍优于二者；附录F明确弱教师在Solar能伤害学生，值得肯定；表5最低Win Keep是69.10%，不是正文所说“均高于76.61%”。这些应降低报告一致性，不应抹掉有利结果。

成本和可复现性

最终学生不增加推理结构，是本文成本价值最稳的一点。附录J固定batch=16、输入720，给出逐批时间与参数数，但训练教师、教师前向、特征对齐与超参搜索的总成本未量化，也未显示真实边缘硬件部署结果。图2与表11中PatchTST、MICN的参数数字不同，不能把所有“最多130倍”直接当成同一配置下严格验证的压缩比。资源方面，原PDF链接明确指向LingFengGold/TimeDistill，论文记录优化器、早停、尺度数、温度和各数据集超参；本次未执行仓库，也未检查其特定提交、依赖锁定、权重和下载脚本的完整性。五种子标准差能支持基本稳定性，但基线配对波动、消融微小差异的统计显著性仍不充分。

可借鉴的内容是把复杂训练信号留在训练端，并在部署接口固定时比较学生收益。真正有价值的进一步问题是，哪些教师信息能在通道独立输入约束下被吸收，哪些只能通过相关性表象近似；若增益只是损失平滑而非教师特有知识，多尺度教师叙事就需要收窄。此判断不要求用户运行实验。旧参考文件records为空，旧评全文也未提供；本次不存在可继承的旧分数或意见。

24维评分

核心主张

- CL01：多尺度与多周期跨架构蒸馏提升轻量学生预测。条件：指定八数据集与教师/学生训练协议。支持：部分至较充分支持，存在教师/数据依赖的退化。定位：表1—4、附录F/T。
- CL02：最终MLP降低推理和参数成本。条件：离线训练教师，在线仅学生；batch16输入720。支持：推理结构及部分计时支持，训练总成本和边缘部署未证。定位：图2、附录J表11。
- CL03：实际多尺度、多周期目标上界mixup增强损失，并解释泛化。条件：定理4.1/4.2及附录A所写形式。支持：存在直接反例；暂停作为可靠结论使用。定位：pp5、11—12，附录A.1/A.2。

风险和问题

- R01（关键问题；已确认可构造反例）：定理4.2混合目标未归一化且log-sum后丢失分母因子；学生=教师=真值时左0右(1+η)log(1+η)>0。定位：p5定理4.2；pp11—12 A.2。问题：是否撤回原定理，改为归一化KL混合的正确界并区分与MSE监督的关系？
- R02（重要问题；证明与方法定义不一致）：多尺度证明混加不同长度并遗漏学生下采样；高温KL无缩放被等同MSE且与实际温度不符。定位：p4式3—4；p11 A.1/A.2。问题：如何建立实际算子和损失对应的有效命题？
- R03（重要问题；叙述被表值直接限制）：去监督并非普遍优于学生和教师；Win Keep最低69.10%，正文称均高于76.61%。定位：pp7—8表4—5。问题：能否将结论收窄至有利数据与正确数值？
- R04（重要问题；部分记录不一致/部分未报告）：图2与表11部分参数数不同；训练总成本及具体计时硬件未充分对应。定位：p2图2；p17表11。问题：各效率数字对应哪一模型配置与硬件，教师训练是否计入？

阅读与版本记录

{
"pdf_pages": 27,
"text_pages_read": "1—27，正文、参考文献、附录A—U全部读取",
"visual_checked_pages": [
11,
12
],
"legacy_read": "文件存在，records为空，旧评全文未提供",
"theory_checked": "两定理逐步与实际损失定义核对；构造代数反例，未执行实验",
"code_entry": "https://github.com/LingFengGold/TimeDistill，来自PDF超链接；未检查提交或运行",
"dataset_version": "按附录B表6，ETT/ECL/Solar/Traffic/Weather；未下载数据核哈希",
"resource_check": "正文配置与入口已读；代码完整性未验证"
}

正文中文字符数：1685。旧评全文未提供；只读可得摘要。未读其他新评。未运行论文代码、训练或推理。

ATT-0367 B路独立评审

TimeDistill: Efficient Long-Term Time Series Forecasting with MLP via Cross-Architecture Distillation

版本：2502.15016v3；阅读完成：2026-11-08T02:30:35.229013+00:00；物理页：[1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27]。

阅读判断

建议定向查阅其蒸馏方法、配对结果和多教师消融，但暂停把第4.2节的多周期mixup定理作为可靠理论依据。经验贡献值得保留：训练时使用复杂教师，部署时只保留带分解的两层通道独立MLP，能在多个常用长预测任务上改善学生，同时不增加其推理网络。理论附录存在可直接构造反例的归一化错误，报告中的若干“始终优于”也超出表格支持范围。它不是一篇可以仅凭速度倍率或KDD身份无条件推荐的工作。旧记录文件records为空，因此既没有完整旧评，也没有本篇历史评语可复核。

问题与方法

论文处理历史窗口到未来多变量序列的监督预测。教师是事先训练并冻结的ModernTCN、iTransformer等模型，学生对每个通道独立应用共享MLP。第4至5页在预测和中间特征两个层面，分别施加多尺度和多周期约束。多尺度是用步幅2卷积降采样，并在原尺度及三个粗尺度匹配教师与学生；多周期是取FFT振幅、去掉直流分量、以温度0.5做softmax，再匹配频率分布。教师特征先经回归器投影到学生维度。它把通用输出蒸馏、特征蒸馏与时间序列多尺度/频率偏好组合起来，增量明确，但“首个跨架构蒸馏”的宽泛表述需对CAKD、LightCTS*等前作保留限定；本次未独立阅读全文，原创性暂定。

经验结果与比较

第7页主表在统一720历史和四个预测长度下，默认教师的学生大部分平均MSE优于八个比较模型；Traffic为0.387，仍高于iTransformer的0.379，不能说全部指标最佳。第13页说明统一Time-Series-Library、测试drop_last=False以及按验证选择归一化，降低了常见的测试样本不一致风险。第18至19页还增加已有蒸馏方法和不同归一化设置，说明作者并非只比较弱旧模型。不过教师沿用默认训练配置，学生额外搜索两个损失权重，未给全体模型相同调参总预算；因此可支持可用系统间的比较，不宜当成纯架构效应。

消融的主要价值在于分开预测层、特征层、尺度及频率，并覆盖两种教师。第7页表4和第24至25页表23至26显示多尺度贡献通常明显，而ModernTCN教师下删掉多周期项，ECL、Solar及ETT均值几乎不变；iTransformer下该项更有作用。这支持“收益依教师而异”，不支持两个分支始终同等必要。去监督损失在Traffic得到0.506，差于学生0.434及教师0.413，直接限制正文“去掉监督仍优于两者”的概括。第15页也公开Autoformer在Solar使学生退化，第20页FITS在ETTm1略退化，反而帮助界定负迁移边界。频谱图和通道相关热图只能说明输出更接近，尤其学生推理不读其他通道，不能由相关矩阵相似推断它获得了输入层面的跨变量条件依赖能力。隐特征维度上的FFT也不天然对应物理时间周期。

理论核查

第11至12页附录A.2的错误影响一项独立核心主张。作者将Qy+ηQt称为混合概率分布，但其质量为1+η；log-sum推导中分母本来是(1+η)Qs，下一行却写成对Qs的KL，丢掉归一化。取教师预测、学生预测、真实标签完全相同，并令η=1，监督损失和教师学生KL都是零，左边为零；按文中KL定义，右边KL(2Q,Q)=2log2，大于零。因此原陈述不是只缺证明，而是在其字面定义下有直接反例；若坚持KL只接受归一化概率，它本身未定义。修正应涉及归一化混合及相应系数，不能沿用原等号。

此外，第11页把温度趋于无穷时的未经缩放KL直接等同FFT平方误差，没有必需的温度平方缩放及中心化条件，且实用温度是0.5。Parseval等式也不能从复数FFT直接跨越去相位、去直流与softmax而保持相等。A.1的索引权重和实际多尺度目标同样不严：γ0=1、其余M项η/(M+1)之和不是1+η，实际目标比较同尺度的两侧预测，证明却把不同长度教师输出直接与未降采样学生相减。普通同维度平方损失确实有混合目标解释，但现有书写未证明本文全部多尺度实现的结论。上述错误只使理论保证失效，不自动抹去表中经验提升，也不表示作者存在主观不当行为。

资源与报告边界

第14页表8报告五随机种子均值与标准差，应明确承认，而不是沿用“无种子”的泛化批评。但缺少各基线同样的波动和配对差异统计，微小优势不能判断显著。第17页固定推理batch=16，MLP与蒸馏学生同为约1.10ms，显示部署网络不增成本；训练教师、生成中间特征及权重搜索的总成本则未汇成可核查账目。表11的Autoformer196.5266ms除以1.0956ms约179.38倍，不是正文196倍。图2与表11的PatchTST、MICN参数量也不同，未提供足以消解差异的配置说明。局部数字问题不改变MLP更轻的方向，却使具体宣传倍率不能直接采用。

已实际读取官方README，确认有依赖环境文件说明、处理后数据链接、先训练教师再训练学生的脚本入口；README还明确只在A100和CUDA12.8测试过。这里只核验材料入口，没有下载数据、执行模型或全面代码审计，数据链接内容和历史论文提交对应版本仍未验证。可带走的思路是将昂贵归纳偏好转成训练约束，让轻学生保留部署形态；后续真正值得分析的是何种教师信息产生正迁移、何时正则化或平滑已能解释收益。最值得亲读的是第4至5页损失设计和第24至25页双教师消融，理论引用则必须先经过修正。

24维评分

材料边界

旧完整评语缺失，只先读现有历史记录；未查看本批其他新评。论文结果均为作者报告，本次没有运行代码、训练或推理。资源入口核查与执行复现分开，未核验项不写成已验证。未将arXiv版本与会议终稿混为逐字相同。引用量与会议身份不转为质量分。

ATT-0367 C路独立评审

版本与阅读记录

论文：TimeDistill: Efficient Long-Term Time Series Forecasting with MLP via Cross-Architecture Distillation

阅读版本：arXiv 2502.15016v3；首次公开：2025/02/20；本版日期：2026/01/07。发表记录：KDD 2026, DOI 10.1145/3770854.3780218 verified in Crossref。不将不同版本视为逐字一致。

阅读记录开始：2026-11-08T02:28:13Z；完成与冻结：2026-11-08T02:30:08.123077+00:00。PDF共27页；SHA256：［校验标识已隐藏］。页码均为PDF物理页。先阅读旧条目，旧完整评语未提供；不读取其他新评。未运行实验。

对象与总体结论

本文是以轻量部署为目标的方法论文，所读为2026年1月7日arXiv v3的27页版本；首次公开为2025年2月，不能把KDD 2026发表年份当成首次提出时间。历史参考文件没有任何记录，完整旧评也缺失，故没有历史质量判断可沿用。我的结论是：TimeDistill作为训练阶段增强轻量预测器的方案，有比较扎实的实证收益和迁移价值，但不能采用论文当前写法的理论保证，也应对摘要和正文中的普遍性措辞作明显收缩。

问题、idea与核心主张

输入是多变量历史窗口，输出为96、192、336、720步预测。大模型教师推理较昂贵，而普通MLP在部分样本仍能胜过教师，作者因而不只是压缩同构网络，而是利用两类架构的互补性。实际操作包括对预测与隐藏特征做步长为2的多尺度下采样，以均方误差匹配；对频域幅值做去直流及温度softmax，再匹配教师与学生的频率分布。两个层级、两个损失共同加入真实标签监督，教师冻结，部署时只保留学生。这是有明确用途的组合设计，但下采样、特征回归器、频率蒸馏与知识蒸馏本身不是新概念。论文讨论CAKD、LightCTS*和DE-TSMCL，后者两个还在附录M进入对照；由于本次未补读最接近前作全文，“first cross-architecture”只能视为作者主张而非核实事实。

CL01是让学生以原本MLP推理开销获得更高精度。第7页表1、表2与第22页完整结果支持大部分条件，默认ModernTCN教师下多数数据集平均误差下降，ETTm2相对普通MLP的最大改进约18.61%。但Traffic上iTransformer仍更好，Solar用PatchTST教师时学生反而比原MLP差，用Autoformer时退化更大。收益不是“任何教师都稳定增益”，教师质量和损失权重是必要条件。

CL02是多尺度、多周期知识的互补作用。表4和附录T显示移除多尺度通常损失明显，预测层与特征层各有作用，且iTransformer教师的频域项比ModernTCN教师更关键。这种教师依赖是值得保留的知识增量。相反，ModernTCN下去掉多周期后，ECL、ETT平均、Solar在三位小数上几乎不变，不能强说四个组成部分都同等必要。附录I把教师信号替换为真实标签的多尺度/频域信号，附录P统一归一化，都是针对性控制，优于只有“去掉整个模块”的分析。仍未证明隐藏维度上的FFT就等价于物理时间周期，特征通道顺序与时间顺序必须区分。

CL03是将这些损失解释为特殊mixup并给出上界保证。此项按当前文本存在直接错误。第11—12页定理A.2把Qy+ηQt称为混合概率分布，但其和是1+η；log-sum不等式中的分母为(1+η)Qs，最后一行却写成KL(Qy+ηQt,Qs)，丢失了归一化因子。本次已查看PDF原图。最简单地令真值、教师和学生预测完全相同，左侧监督与蒸馏损失均为零；按论文给出的KL求和定义，右侧却是(1+η)log(1+η)>0，和所宣称的不等式矛盾。标准概率KL下右项甚至不是合法分布。另一个断点是把高温极限下的KL优化近似直接写成与频域MSE相等，既未保留温度缩放、中心化和FFT规范化，又与实现温度0.5不同。A.1的多尺度证明也把实际下采样后的学生预测替成同一个未下采样变量，尺度间不同维度如何对齐没有说明。普通同维标签混合的Jensen结论可以成立，但这不等于证明本文完整损失。因此理论项应单列风险，不因实证表格多而平均掉。

Baseline、稳定性和流程

主比较覆盖iTransformer、PatchTST、TimeMixer、ModernTCN等，与两类时序专门蒸馏方法的附录比较补强了贡献定位。统一720输入并不自动最优公平，但附录S额外比较96、192、336输入，缓解了只挑有利窗口的担忧。附录C明确同用Time-Series-Library、drop_last=False、归一化按验证集选择。表8报告五个随机种子的均值和标准差，不能再写成“未报告随机性”；不过主要消融及各基线并非全都附同样误差条，极小改进的稳定性仍有限。数据集来源与切分规模给出，流水线基本清楚，本次没有发现可以直接认定的数据泄漏证据，也没有运行代码来验证预处理边界。

复现条件、报告问题与阅读建议

第12—14页给出学生结构、批量32、学习率0.01、早停5、尺度数3、权重搜索集合和逐数据集配置，PDF第1页链接到https://github.com/LingFengGold/TimeDistill。入口明确但本次没有审计仓库内容或执行运行，不能称完整复现已验证。教师训练及在线生成蒸馏目标的额外成本没有在推理表内，训练资源来自A100、V100、K80集群；端侧部署可受益，不等于训练本身廉价或可在同样端侧完成。第17页表11固定批量16和窗口720，学生约1.10毫秒、ModernTCN约6.22毫秒，是可检查的部署比较，但具体计时硬件和教师预训练摊销仍不足。

内部报告还存在数个需要保留的差异：第8页称Win Keep均高于76.61%，同页ETTh2表值实际为69.10%；第7页称去监督仍优于学生和教师，但Traffic为0.506，劣于0.434和0.413。表24的Traffic完整模型为0.391/0.275，而表1、26为0.387/0.271，未明确说明配置差异；图2与表11的PatchTST参数量也不同。本次不猜测原因或作者动机，只把它们标成报告一致性问题。当前值得借鉴的是离线教师辅助轻量学生、教师依赖的损失选择，以及把监督源替换作为消融对照；不宜引用A.2作为数学依据。用户个人目标与资源缺失，F组均保留未知。

24维评分

冻结说明

保留24维原始分数，不编造个人F组分数，不输出无依据总排名。前作全文补查有限，原创性暂定。完整旧评缺失，历史摘录只作待核线索，不算独立评审票。冻结后若材料变化，另立修订而不覆盖本记录。

ATT-0367 独立评审 D

论文：TimeDistill: Efficient Long-Term Time Series Forecasting with MLP via Cross-Architecture Distillation

版本：arXiv 2502.15016v3；版本日期 2026/01/07。首次公开 2025/02/20。评审 2026-11-08。

冻结时间（UTC）：2026-11-08T02:31:26.617065+00:00

阅读记录：2026-11-08，按旧记录→身份→正文1–9及附录11–27顺序阅读全文；参考文献9–10页核对相关条目；视觉核对11–12页证明。阅读期间未读他路新评；完成时间见冻结字段。

旧评边界：只收到历史摘要/行记录，旧完整评语缺失，不作为新评票；未读其他新评。

核心主张

- CL01：跨架构多尺度/多周期输出与特征蒸馏提升轻量学生。多数实验支持，非所有教师/数据组合；4–8、14–25页。

- CL02：蒸馏目标可由特殊mixup理论解释，并解释泛化与优化收益。原A.2归一化和等式不成立，A.1未覆盖真实多尺度维度；5、11–12页。

- CL03：部署仅使用MLP而降低推理和参数开销。部署指标部分支持，训练总成本未知、参数表不一致；2、17、21页。

详细评审

TimeDistill面向已有高精度预测器不便部署的情形，在训练阶段用较复杂的教师指导轻量学生，部署时只保留学生MLP。输入为多变量历史，输出为固定预测长度；主要学生采用通道独立、分解加两层MLP结构。它并非推理阶段融合多个大模型，而是把额外成本转移到离线教师训练和蒸馏。旧材料records为空，完整旧评和摘要均未提供，因此本次没有可以沿用的历史质量结论。评判对象限定为2026年1月7日arXiv v3，原创性时间基准应回到2025年2月首次公开，而不是因KDD 2026身份把思想视为2026新提出。

Idea的可识别增量是同时在输出与中间特征上做多尺度和多周期匹配。前者对教师、学生预测逐层下采样并计算平方距离；后者对FFT幅值去直流后以低温softmax形成频率分布，再做KL匹配。不同架构通过回归器对齐特征宽度。这是一种有合理时序归纳偏置的蒸馏组合，而不是知识蒸馏本身的新发明。论文列出CAKD、LightCTS*和DE-TSMCL等近邻，并在附录M补了后两者比较，改善了与“普通KD”相比的定位。不过未逐篇核对前作原文，关于首次跨架构蒸馏的措辞不能由本次有限阅读确认。尤其潜在特征维的排列并不天然具有时间顺序，沿隐藏维FFT解释为物理周期，需要比输出频谱更谨慎。

实证收益总体有可用价值。主表统一720历史长度，八数据集、四预测长度，TimeDistill多数平均指标优于未蒸馏MLP及多种强教师。ETTm2平均MSE从0.300到0.244，约18.6%的学生改善与表9对应；但不能把该最大值理解成所有任务平均提升。Traffic上iTransformer平均MSE0.379优于默认TimeDistill的0.387，Solar用PatchTST或Autoformer蒸馏可弱于原MLP，FITS在ETTm1也有小幅退化。附录给出这些负例是优点。选择教师、学生宽度、历史窗口和归一化都会改变结论，不能泛化成“任何教师都能让学生优于教师”。

Baseline与协议方面，附录C明确同用Time-Series-Library，并设置drop_last=False保证测试样本一致；附录P还比较无归一化、non-stationary与RevIN，说明作者意识到预处理混杂。包含MLP、Transformer、CNN和其他KD参照，已不只是用弱旧模型衬托。仍需限制两个说法：固定720历史对所有模型相同，回答的是该输入协议下的表现，不代表各架构最佳部署点；教师用其默认训练配置，学生搜索蒸馏权重，整体调参和训练预算没有完整核平。归一化按验证选取是合理做法，但附录表15的主文措辞“始终优于”过强，例如无归一化Weather的TimeMixer略优。已读材料未显示测试泄漏，不能把未做代码审计写成发现泄漏。

消融覆盖比一般模块拼接论文充分：表4及附录T分别去输出层、特征层、多尺度、多周期、监督项，换教师后也重复；附录I直接匹配真值模式，用于区分教师信息与仅改变损失。多尺度去除在ETT上造成明显损失，特征匹配通常也有益。然而默认ModernTCN下去多周期时ECL、ETT平均和Solar几乎不变，多周期的必要性依赖教师，不能仅以两个漂亮频谱例图证成普遍机制。附录T用教师到真值的KL差解释这种差异是有用线索，但单任务两个数字不足以确认因果解释。通道独立学生预测的相关矩阵接近教师，也不意味着它在推理时获得了跨通道信息输入；这只能说明输出统计被训练塑造，而不能突破其函数输入限制。

理论部分存在比表述松散更实质的问题，必须单列。定理A.1把不同下采样长度的教师输出同未下采样学生直接做差，未明确上采样或统一空间；权重索引也与声称总和不一致。普通同维平方损失确实可导出加权目标平均的上界，但当前证明没有直接覆盖式4真正的多尺度损失。更明确的是定理A.2：混合目标写成Qy+ηQt，总质量为1+η，却作为概率分布进入KL；第12页log-sum之后分母本应为(1+η)Qs，下一行却写成对Qs的KL，等号不成立。取教师、学生和真值完全相同，监督误差与教师KL都为零，按文中所给求和定义右边却为(1+η)log(1+η)，η>0时立即反例。这不是要求跑实验才能确认的疑点。此外未乘温度平方、未说明中心化及FFT归一化就把高温KL极限直接等同MSE，且实际温度为0.5，也不能支撑其有限温度结论。因此“理论证明泛化改善和优化稳定”不能接受；工程蒸馏效果则应依据实验单独判断，不因理论错误自动归零。

报告一致性也需扣分。表5中ETTh2 Win Keep为69.10%，正文却说全部超过76.61%；去监督的Traffic MSE0.506明显差于MLP0.434及教师0.413，与无监督仍优于两者的概括冲突。效率图2和表11同称ECL跨预测长度平均，但PatchTST参数前者约4.1M、后者约24.95M，MICN也有差异，当前版本未充分解释配置区别。这些不一致不证明作者动机，但会增加读者核查成本。

可复现方面有五随机种子均值标准差、数据规模、训练轮数、学习率、权重搜索、批量及归一化配置，公开链接在PDF可解析为LingFengGold/TimeDistill。此次未拉取仓库或运行，不能说代码已验证。表11给出同批量16的推理时间和参数，学生与普通MLP同样约1.0956毫秒，支持推理结构不额外加重；但教师预训练、蒸馏前向与搜索开销未完整报告，不能把部署高效写成全生命周期低成本。总体建议作为轻量预测与KD基线保留，实验资料较丰富，理论部分不宜作为可靠引用，报告细节需要仔细复核。F组因用户具体问题、知识和资源不足保持未知。

24维评分

量表0—100，5分步长；暂定范围不是统计置信区间。F组个人背景不足，保留未知。未设置总分。

缺失与限制

- 旧records为空，完整旧评和历史摘要均缺失。
- 未与ACM最终出版PDF逐字对照。
- 代码链接明确但未检查仓库完整性或执行。
- 近邻前作与后续复现外部检索未开展，原创性暂定。
- A.2数学问题已通过原PDF视觉复核；不把理论错误扩大为全部实证无效。
- 有些参数数目及表间数字可能涉及未解释配置变化，未推测动机。

详评正文汉字数：1610。未执行代码、训练、推理或复现。

ATT-0367 独立评审 E

论文：TimeDistill: Efficient Long-Term Time Series Forecasting with MLP via Cross-Architecture Distillation

评判版本：arXiv 2502.15016v3；版本日期 2026/01/07；首次公开 2025/02/20。阅读完成时间（UTC）：2026-11-08T02:32:46.839645+00:00。全文 27 页，页码均指此PDF物理页。

旧记录已先读；完整旧评语及sidecar缺失，不计作新评，不继承分数。未读取其他新评。本文未运行实验或论文代码，未验证仓库可执行性。

阅读判断

建议定向查阅其跨架构蒸馏和轻量预测实证，不把论文的mixup理论作为可靠结论引用。TimeDistill在训练时利用较复杂教师，在部署时保留两层通道独立MLP，兼顾低延迟与误差，是值得保留的工程路线。八数据集、多教师、多学生和多种输入长度的结果提供了比单一主表更丰富的证据。不过第11—12页的周期损失定理存在可直接构造反例的归一化错误，此外若干主表、附录和叙述数字不一致。应把“蒸馏有实际收益”和“已有定理解释其泛化机理”拆开评价，前者仍有支持，后者需要暂停使用。

问题 方法与创新

论文从MLP与教师的逐样本优劣互补切入。第3页的胜率分析说明总体误差更好的教师并非在所有样本上更好，这为保留学生自身能力、同时利用教师知识提供动机。但胜率接近一半并不意味着两个模型错误集合“几乎不重叠”，更不保证蒸馏一定获益。真正的方法改变是第4—5页的四种对齐：对预测序列和中间特征分别做多尺度下采样MSE匹配、傅里叶幅值经低温softmax后的KL匹配，再与真值MSE相加。教师冻结，部署时移除教师和用于对齐的训练结构，学生仍是轻量MLP。

多尺度监督和频域监督并非各自全新；有意义的增量在于把它们组织成跨架构时间序列蒸馏，并展示多种教师与学生可以使用。附录M补充了DE-TSMCL、LightCTS*比较，避免仅与无蒸馏模型比较。但本次未逐篇独立读取这些前作，不能认可正文“首个跨架构蒸馏”这种广泛优先权断言。另一个概念边界是，对隐藏特征轴做FFT并不自动使每个频率对应真实时间周期；它作为表征正则仍可能有效，但需与输出序列的周期解释区别。

核心证据与争议

第7页表1显示默认ModernTCN教师下，八数据集平均MSE中七项最优，Traffic仍逊于iTransformer。第15页逐教师表和第20页逐学生表更有判断价值：例如Solar上弱Autoformer教师会使学生MAE变差，FITS在ETTm1也有微小负收益。因此不能把“几乎所有教师都能平均改善”扩大为任意教师、任意数据均有效。第23页在96到720窗口重复比较，进一步支持方法不完全依赖单一窗口。第13页明确统一Time-Series-Library、测试drop_last=False、把归一化作为超参数，第19页又列无归一化、Non-stationary与RevIN对照，公平性保障较好。仍需注意教师按各自默认配置训练，而学生有额外蒸馏权重搜索，且完整教师训练预算没有纳入成本比较。

消融设计覆盖预测层、特征层、多尺度、多周期和真值监督，附录T在两种教师下补齐。最有信息量的结果是多周期项对ModernTCN教师贡献很小，却对iTransformer显著，第25页以教师频谱KL差异提出解释。这是条件化机制线索，而非每个损失普遍必要的证据。第16页直接匹配真值多尺度多周期的对照有助于排除“只是多加了损失”这一简单解释，但并未把正则化、平滑目标、教师误差结构和多尺度物理语义完全分开。第8页相关矩阵可视化仅表明输出相关性更接近教师；通道独立学生推理时没有额外跨变量输入，不能由图推出它能利用未观测通道的新信息。

理论存在明确问题。定理A.2把Q_y+ηQ_t称作混合分布，其总质量为1+η而不是1。第12页log-sum步骤的分母原本是(1+η)Q_s，下一行却写成KL(Q_y+ηQ_t,Q_s)，丢掉了这一因子，已对PDF原页视觉核对。取教师、学生与真值完全相同，三个频谱分布均为q，则实际监督损失及教师KL均为零；论文所写右侧却为(1+η)log(1+η)>0，直接违反所声称不等式。这是理论主张的关键问题，不是一个影响所有实验的指控。第11页还用τ趋于无穷的KL“等价最小化”代替数值相等，未保留温度平方与中心化等条件，而实际τ=0.5；Parseval也不能直接套在取幅值再softmax后的分布上。多尺度定理A.1的Jensen直觉可在同维目标混合时成立，但证明把不同长度下采样目标与未下采样学生直接相减，且权重索引不一致，没有严格覆盖公式4的真实损失。

报告一致性也应单列。第7页表4说去监督仍总体优于教师，Traffic却为0.506，差于MLP的0.434和教师0.413。第8页文字称Win Keep均高于76.61%，表5的ETTh2实际为69.10%。第24页表24的Traffic完整模型为0.391，而主表及表26为0.387；ETT去预测层逐项均值也不等于汇总表对应值。第17页效率表中参数量和第2页气泡图的PatchTST、MICN数字差异较大，约196毫秒除以约1.096毫秒也不是196倍。这些不一致不自动证明测量造假，但影响百分比、消融归因和极值效率数字的精确引用。

复现材料方面，第12—14页提供教师来源、优化器、学习率、batch、早停、尺度数、温度、权重搜索范围和五随机种子均值标准差。PDF首页链接到LingFengGold/TimeDistill，本次核实了链接字符串，没有执行仓库或核验权重完整性。五种子统计对学生稳定性有帮助，但多数字段先跨四个预测长度平均，没有所有教师与基线的匹配误差条。训练使用A100、V100、K80集群，推理比较统一batch16和窗口720，却缺少完整训练总时、能耗与具体测速设备对应关系，所以只支持“部署端结构较轻”，不能称端到端总成本降低。

可带走的内容

可以借鉴的做法是把教师输出当作有结构的辅助监督，同时保留真值损失和学生自己的简单归纳偏置。具体研究线索来自教师不同而周期损失作用不同：增益究竟取决于教师的频谱偏差、预测误差互补，还是仅是输出平滑？若在归一化一致、目标平滑程度相近时频域项仍没有独立收益，那么“多周期迁移是关键原因”的解释会失去意义。最值得亲自读的是第4—5页真实训练目标与第24—25页两教师完整消融；理论页应作为需要修正的材料，而非现成保证。

完整24维评分

风险记录

- R01 关键问题，已确认（原页核对及代数反例）：定理A.2将非归一化Q_y+ηQ_t当分布，log-sum后遗漏分母1+η。真值=教师=学生时左边0、右边(1+η)log(1+η)>0，原上界不成立；暂停CL03中该理论作为可靠结论使用。（PDF p5,11—12）。
- R02 重要问题，已确认报告冲突；来源未知：主表与附录Traffic及部分消融均值不一致，Win Keep和去监督优越性叙述与表内反例冲突。（PDF p7—8,24—25）。
- R03 重要问题，已确认报告冲突及证据缺口：参数数量跨图表不同，196倍加速与表11比值不符，教师训练与总预算未计入。（PDF p2,12,17）。

汇总与阅读建议

定向查阅蒸馏实证；暂停将周期mixup上界作为可靠理论使用。已评分20/24维，F1—F4未知；无总分、无强制排序。重点位置：p4—5 蒸馏目标；p24—25 双教师消融。

结构化数据见同目录 review.json。