手表是最佳的随身 AI 设备。以人体指标监测为切入点，它有机会进一步成为各类个人信息的输入入口。相比之下，当前其他形态的 AI 设备都不是最理想的载体。

随着认知水平的提高，尤其是对自身健康和生命科学认识的加深，人们会越来越重视健康。从文明发展的角度看，人也始终在追求让自己变得更好。健身房的普及，以及营养学日益受到重视，正体现了这种趋势。

所以，在这些设备形态中，能够实现 24 小时监测的，只有手表。其他形态普遍面临一个难题：需要重新培养用户的使用习惯，成本太高。腕表已有近 200 年的历史。从机械表、石英表到智能手表，佩戴腕表早已成为成熟的习惯，在社交场合也很自然。

眼镜、耳机则不同。让一个原本不需要、也不喜欢戴眼镜、耳机的人长期佩戴，本身就是一种负担。而对本就习惯佩戴机械表或石英表的人来说，智能手表只是换了一种形式。无论是社交接受度，还是与原有习惯的契合程度，手表都是最佳载体。

在健康监测之外，手表还可以承担各类信息输入功能，比如成为个人的“人生记录仪”。回到 24 年 11 月，在腕表上实现这项技术或许还不够成熟；但从今年发布的 Apple Watch Ultra 4 来看，如今已经相当可行。

智能手机与智能手表天然互补。如果有厂商能将两者充分结合，形成数据收集、分析、反馈给用户，再观察数据变化的闭环，就有机会建立起坚实的护城河。

从变化率的视角看，事务反而变得更为简单。数学来说的话就是梯度的视角。

“Pre-training、SFT 和主流 logit distillation，本质上都是显式的 distribution fitting；RL 本质上首先是 expected reward maximization，但在加入 entropy/KL regularization 后，可以严格等价地改写成：让模型逼近一个由 reward 对 reference policy 进行指数加权后得到的隐式目标分布。

在梯度实现层面，这四类方法又都可以写成某种 “coefficient × ∇log probability” 的形式。”

— ChatGPT

训练 LLM 的数学本质是分布拟合！ChatGPT 给出的解释简单而优雅，也符合直觉。这种能力规模化后，带来了令人惊叹的效果，几乎是一种“以假乱真”的智能。

To learn, wander. To achieve, focus. — X user

If you’re going to throw your time, energy, and youth at a company, try to join one that’s not just making a better mousetrap. Find a business that’s starting a revolution. A company that’s likely to make a substantial change in the status quo has the following characteristics:

• It’s creating a product or service that’s wholly new or combines existing technology in a novel way that the competition can’t make or even understand.
• This product solves a problem—a real pain point—that a lot of customers experience daily. There should be an existing large market.
• The novel technology can deliver on the company vision—not just within the product but also the infrastructure, platforms, and systems that support it.
• Leadership is not dogmatic about what the solution looks like and is willing to adapt to their customers’ needs.
• It’s thinking about a problem or a customer need in a way you’ve never heard before, but which makes perfect sense once you hear it.

— Build by Tony Fadell

我们终究会死亡，宇宙终究会走向热寂。应把生命看作一场经历；每时每刻，我们都在经历。因此，要压缩每段经历中的信息量。最好的压缩方式，莫过于和一群人一起，做自己认为有意义的事。

近期在读 LLM 中涉及的数学内容。对数（log）这一数学工具，解决了许多概率分布在实际计算中的棘手问题。它只是转换了表达形式，但本质上与原问题等价。

面对难解的问题，似乎可以先将其等价转换为另一种形态，再对这种形态进行处理。这似乎是解决复杂问题最简单、最常用的方法。

最近感悟到的一条人生经验是：少犯错，就能赢。

如何少犯错，很多时候靠的是直觉。

当然，直觉背后或许仍有理性计算在起作用，只是有些判断无法被清晰地量化。此时，真正依靠的就是直觉。

人要有一种信念，它可以是很简单、很朴素的东西。

我的信念是：跟随内心的兴趣与感受前行。从心理学的角度看，一个人顺着内心真正感兴趣的方向做选择，即使最后证明是错的，也更愿意承担相应的后果。

从许多经验来看，很多当下看似无用的东西，终有一天会连成一条线。如果足够幸运，它们还会慢慢织成一张网。

而我的优势，正是曾经编织过无数这样的线。

只有好设计跟坏设计，没有所谓的工程师设计。

大模型的大部分“原始能力”来自 pre-training 形成的高维生成分布；post-training 的核心作用，是用人类目标、可验证 reward 或偏好信号，对这个分布进行重塑，使模型在特定任务上更稳定地产生有用轨迹。

知识的获取，更多是在 pre-training 阶段完成定型；而知识的应用，则更多是在 post-training 阶段完成定型。

学习大模型的训练过程，总能给我一些启发，并反过来滋养我自身的学习。