AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器

未分类徐自远 4年前 (2021-02-13) 580℃

AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器https://m.toutiaocdn.com/i6927536882100208136/?app=news_article&timestamp=1613178382&use_new_style=1&req_id=202102130906220101351291345F2CA97E&group_id=6927536882100208136&tt_from=android_share&utm_medium=toutiao_android&utm_campaign=client_share&share_token=48422661-012e-4e2b-afa3-b98fa9181677

转载请注明：徐自远的乱七八糟小站 » AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器

IT小教室：网络上出现很多不同的远控软件，例如ToDesk、TeamViewer、向日葵、anydesk等产品，如果对以上产品不满意，可以试用国产的 RayLink免费跨平台全能远程桌面控制软件，它的特点是高性能低延迟，拥有不同服务器线路，画面清晰流畅，局域网内还能实现直连，可以说是一款全能远控工具。 RayLink 支持跨平台的远程桌面控制软件，包括Windows、Mac、Linux等操作系统，以及iOS和Android手机平台，同时还提供网页版可以使用。无论你安装到电脑还是使用网页版，都可以随时随地远程访问到公司或家里的电脑。 RayLink 的软件界面简洁，提供常见的远程控制功能，比如拖放文件传输、剪贴板互通等等，还支持多种方便快捷的文件传输方式，例如文件传输列表互传、复制粘贴传输以及拖拽传输，能非常高效率地在本机和远程电脑之间互相传送文档。除了功能之外，隐私与安全性同样重要，在远程办公时，被控电脑不在身边，担心你的操作被别人看到，RayLink的防窥模式可以帮你解决这些问题，开启防窥模式后，被控电脑屏幕将黑屏显示，并阻止键盘输入，相当安全可靠。 RayLink提供了免费版以及高级会员供用户选择，免费版可以使用基础远程功能，支持 1 通道 1 会话数，而升级会员则能获得更多会话数、超高清画质、扩展虚拟屏等高级功能。
国产Wi-Fi/蓝牙芯片，谁家最好用？
爱囤黄金的朱朱：Andrej Karpathy是OpenAI的原创始团队之一，他的这94行代码，就是训练神经网络所需的全部内容（他说任何其他多余的代码都是为了提升效率） #程序员# 透过现象看本质，学完这94行代码，如何训练神经网络你也就理解了。以下有论文、代码和视频，收藏！ —— 这 94 行代码就是训练神经网络所需的全部内容。其他一切都只是为了提高效率。这是我早期的项目 Micrograd。它实现了一个标量值自动梯度引擎。你从叶子节点上的一些数字开始（通常是输入数据和神经网络参数），使用 + 和 * 等操作将它们混合起来，构建一个计算图，最后以单个值（损失）结束。然后你在每个节点应用链式法则反向遍历该图以计算梯度。梯度会告诉你如何调整参数以减少损失（从而改善你的网络）。有时当事情变得太复杂时，我会回到这段代码并稍事休息。但是好吧，你也必须知道计算图应该是什么（例如 MLP -> Transformer），损失函数应该是什么（例如自回归/扩散），如何最好地使用梯度进行参数更新（例如 SGD -> AdamW）等等。但这是大多数事情的核心。 1986 年，Rumelhart、Hinton 和 Williams 发表的论文推广并使用了这种算法（反向传播）来训练神经网络：cs.toronto.edu/~hinton/absps/naturebp.pdf Github 上的 micrograd： github.com/karpathy/micrograd 以及我的(now有点旧的 YT视频，我在其中非常缓慢地构建和解释：youtu.be/VMj-3S1tku0?si=-zqaFh1W7iTDUrQG ChatGPT
OpenAI 说要封禁来自中国的流量，我笑了

IT小教室：网络上出现很多不同的远控软件，例如ToDesk、TeamViewer、向日葵、anydesk等产品，如果对以上产品不满意，可以试用国产的 RayLink免费跨平台全能远程桌面控制软件，它的特点是高性能低延迟，拥有不同服务器线路，画面清晰流畅，局域网内还能实现直连，可以说是一款全能远控工具。 RayLink 支持跨平台的远程桌面控制软件，包括Windows、Mac、Linux等操作系统，以及iOS和Android手机平台，同时还提供网页版可以使用。无论你安装到电脑还是使用网页版，都可以随时随地远程访问到公司或家里的电脑。 RayLink 的软件界面简洁，提供常见的远程控制功能，比如拖放文件传输、剪贴板互通等等，还支持多种方便快捷的文件传输方式，例如文件传输列表互传、复制粘贴传输以及拖拽传输，能非常高效率地在本机和远程电脑之间互相传送文档。除了功能之外，隐私与安全性同样重要，在远程办公时，被控电脑不在身边，担心你的操作被别人看到，RayLink的防窥模式可以帮你解决这些问题，开启防窥模式后，被控电脑屏幕将黑屏显示，并阻止键盘输入，相当安全可靠。 RayLink提供了免费版以及高级会员供用户选择，免费版可以使用基础远程功能，支持 1 通道 1 会话数，而升级会员则能获得更多会话数、超高清画质、扩展虚拟屏等高级功能。
国产Wi-Fi/蓝牙芯片，谁家最好用？
爱囤黄金的朱朱：Andrej Karpathy是OpenAI的原创始团队之一，他的这94行代码，就是训练神经网络所需的全部内容（他说任何其他多余的代码都是为了提升效率） #程序员# 透过现象看本质，学完这94行代码，如何训练神经网络你也就理解了。以下有论文、代码和视频，收藏！ —— 这 94 行代码就是训练神经网络所需的全部内容。其他一切都只是为了提高效率。这是我早期的项目 Micrograd。它实现了一个标量值自动梯度引擎。你从叶子节点上的一些数字开始（通常是输入数据和神经网络参数），使用 + 和 * 等操作将它们混合起来，构建一个计算图，最后以单个值（损失）结束。然后你在每个节点应用链式法则反向遍历该图以计算梯度。梯度会告诉你如何调整参数以减少损失（从而改善你的网络）。有时当事情变得太复杂时，我会回到这段代码并稍事休息。但是好吧，你也必须知道计算图应该是什么（例如 MLP -> Transformer），损失函数应该是什么（例如自回归/扩散），如何最好地使用梯度进行参数更新（例如 SGD -> AdamW）等等。但这是大多数事情的核心。 1986 年，Rumelhart、Hinton 和 Williams 发表的论文推广并使用了这种算法（反向传播）来训练神经网络：cs.toronto.edu/~hinton/absps/naturebp.pdf Github 上的 micrograd： github.com/karpathy/micrograd 以及我的(now有点旧的 YT视频，我在其中非常缓慢地构建和解释：youtu.be/VMj-3S1tku0?si=-zqaFh1W7iTDUrQG ChatGPT
OpenAI 说要封禁来自中国的流量，我笑了
ChatGPT扫地僧：使用GPT-4o将 PDF 解析为 Markdown 的工具，实现pdf转word完美转档仅 293 行代码，该程序几乎可完美解析任何 PDF 文件，包括排版、数学公式、表格、图片和图表等内容，每页成本仅为$0.013。如有免费 API，则成本为零。工作原理是先使用 PyMuPDF 库解析 PDF 并标记非文本区域，再使用 GPT-4o 解析，得到 markdown 文件。项目名为 gptpdf。使用方法：在 python 环境下安装 gptpdf，在代码中导入 parse_pdf，输入参数包括输入 pdf 文件、gpt api 等。可测试 CNKI 下的文章，整体识别较好，但存在个别图片未解析文字的情况。可通过 markdown 转 docx 完成最后一步，目前存在 word 文档多空行和表格处理问题，作者后续可优化。可在后台回复“gptpdf”获取代码。
管理知行训练营：10个领域42个模型方法论
JavaEdge聊AI：一款PDF解析工具：doc2x doc2x可以将 PDF 文件转换为 Markdown、LaTeX、DOCX 等格式可以解析排版、数学公式、表格、图片、图表等，对包含表格和公式的文档处理效果比较好，支持多语言翻译（基于glm4和deepseek）体验地址：doc2x.noedgeai.com #doc2x #PDF解析#程序员 #人工智能 #编程严选网
JavaEdge聊AI：OmniParse 是一款功能强大的 AI 数据源解析器，现已开源并获得了 457 星标。它支持音视频转录、PDF OCR，以及将网页内容爬取并转换为 Markdown 格式。OmniParse 提供统一的用户界面，用于数据读取和解析，并能够与 Langchain 等工具集成，是 LlamaIndex 和 LlamaParse 的开源替代品。

徐自远的乱七八糟小站涉及电子，网络，编程，软件使用，机械结构等等方面。

AAAI21最佳论文Informer：效果远超Transformer的长序列预测神器

苏ICP备18041234号-1 苏公网安备 32021402001397号