【笔记】Linux 图形栈与远程 GUI 的工作模型

1. 一句话心智模型

Linux GUI 的核心不是“应用把图片发给显示器”，而是应用生成窗口内容缓冲区，显示系统负责输入分发、窗口组织和合成，内核与显示硬件最终把合成结果扫描到物理屏幕。

X11、Wayland 和远程桌面解决的是不同层的问题：X11/Wayland 定义本地 GUI 客户端与显示服务端如何协作，RDP/VNC 等负责把画面和输入跨边界传输。

2. 从应用到显示器的完整路径

flowchart LR
    A[GUI 应用] --> B[窗口内容 Buffer]
    B --> C[Display Server / Compositor]
    I[键盘、鼠标、触控] --> K[内核输入子系统]
    K --> C
    C --> A
    C --> G[GPU 合成或硬件 Overlay]
    G --> D[DRM/KMS]
    D --> F[Framebuffer / Scanout Buffer]
    F --> M[显示控制器与显示器]

这条链里容易混淆的职责是：

• 应用知道按钮、文本框和业务状态；
• 显示服务端/合成器知道窗口的位置、层级、变换和焦点；
• 内核驱动输入设备、GPU 和显示输出；
• GPU可以负责应用绘制和桌面合成；
• 显示控制器按时序读取最终缓冲区并输出信号。

鼠标点击某个坐标时，显示系统先判断事件属于哪个窗口，再把窗口局部坐标交给应用。最终识别“这是哪个 Button”的通常是应用的 UI 工具包，而不是 X Server、Wayland 协议或显示器。

3. X11：为什么显示端叫 Server

X 的命名从显示资源的归属出发：拥有屏幕、键盘和鼠标的一端提供显示服务，所以它叫 X Server；使用这些资源的 GUI 程序叫 X Client。

这与“计算服务器”习惯相反。远程程序可以运行在 Linux 服务器上，却作为 X Client 连接用户电脑上的 X Server。

X11 中的 11 是 X Window System 协议的第 11 个主版本，不是端口号或窗口数量。

经典 X11 路径大致是：

1. 内核把输入事件交给 X Server；
2. X Server 根据窗口树和事件选择规则把事件发给客户端；
3. 客户端更新内容；
4. 现代桌面上的合成管理器再组合各窗口内容。

X11 是网络透明协议，但“能跨网络”不代表“任何 GUI 都高效远程”。协议往返、字体、扩展、图形加速和网络延迟都会影响体验。

4. ssh -X 做了什么

ssh -X host 不是让 SSH 理解每条 X11 业务语义。SSH 主要建立认证和加密通道，并在远端设置代理显示地址：

远端 X Client
  → 远端 SSH 代理的 DISPLAY
  → SSH 加密通道
  → 本地 SSH 客户端
  → 本地 X Server

远端应用仍然说 X11 协议；SSH 负责转发、认证信息处理和传输保护。-Y 是更信任远端 X11 客户端的模式，安全边界更宽，不应仅因为兼容性问题就默认使用。

5. Wayland：把 Compositor 变成 Display Server

Wayland 既是一套客户端与合成器通信的协议，也有相应的 C 库实现。它不是完整桌面环境，也不是显卡驱动，更不是显示器适配器。

在典型 Wayland 桌面中：

1. 内核通过 evdev 把输入交给合成器；
2. 合成器根据自己的 scene graph 判断事件对应哪个 surface；
3. 客户端收到事件，在自己的缓冲区绘制新内容；
4. 客户端提交 buffer 并标记发生变化的区域；
5. 合成器组合各个 surface，通过 DRM/KMS 安排 page flip 或使用硬件 overlay。

Wayland 的关键收敛是：窗口管理、输入仲裁和合成看到同一套场景状态，减少现代 X 架构中 X Server 与独立 compositor 之间的重复路径。

“Wayland 一定比 X11 快”过于绝对。它简化了关键路径并为低复制、直接 buffer 共享创造了条件，但实际性能还取决于客户端、合成器、驱动、协议扩展和工作负载。

6. Buffer、Texture 与合成

Wayland 客户端通常先把窗口内容渲染到 buffer。buffer 可以来自共享内存，也可以是 GPU 可共享的图形缓冲区。协议传递的重点不是每个像素的绘制命令，而是 surface、buffer 及其状态。

合成器拿到 GPU buffer 后，可以把每个窗口内容当作纹理采样，再执行平移、缩放、旋转、裁剪和透明混合，生成最终画面。这里的“纹理”不是图片文件格式，而是 GPU 可按坐标采样的数据资源。

合成不一定每次都由通用 GPU shader 完成。满足条件的 surface 可能通过硬件 overlay 或 direct scanout 直接交给显示引擎，从而跳过一次完整合成。是否可用取决于遮挡、缩放、颜色格式、变换和硬件能力。

7. 合成之后发生什么

合成器不会直接“把图片塞进 HDMI”。它通常通过 DRM/KMS 配置显示模式和 scanout buffer：

合成结果
  → framebuffer/scanout buffer
  → KMS 原子提交与 page flip
  → 显示控制器按刷新时序读取像素
  → HDMI/DisplayPort/eDP 信号
  → 显示器面板

GPU 负责产生或组合像素，显示控制器负责稳定扫描输出。二者可能位于同一 GPU/SoC 中，但职责不能混为一谈。

8. Wayland 为什么不等于远程桌面

Wayland 的核心协议主要面向客户端与 compositor 的本地协作，并没有把“跨网络远程显示”作为 X11 那样的基础透明能力。

但这不代表 Wayland 应用不能远程使用。远程能力可以放在其他层实现：

• compositor 提供 RDP、VNC 等远程 backend；
• PipeWire 捕获窗口或屏幕，再由远程工具编码传输；
• 使用专门代理在两台 Wayland 系统之间转发 buffer 和输入；
• 运行嵌套 compositor，把一个桌面会话当作宿主窗口。

所以“本地显示协议”与“远程传输协议”是两个正交问题。

9. WSLg 如何把 Linux 窗口放进 Windows

WSLg 同时支持 Wayland 和 X11 应用。其 system distro 中运行 Weston、XWayland、音频服务和 RDP 组件，并把相关 socket 与环境变量投射到用户 distro。

flowchart LR
    LA[Linux Wayland App] --> W[Weston]
    XA[Linux X11 App] --> X[XWayland]
    X --> W
    W --> R[FreeRDP / RAIL / VAIL]
    R --> H[Windows Host]
    H --> O[Windows 桌面窗口]
    H -. 输入 .-> R

Weston 是 WSLg 的 Wayland compositor。X11 应用先由 XWayland 兼容，再进入 Weston。Weston 的 RDP backend 将独立 Linux 应用窗口集成到 Windows 桌面；同机优化场景可以利用 VAIL 和跨 VM 共享内存，避免把所有像素按普通远程网络场景编码传输。

因此，在 WSL2 中安装 Linux 版 IDEA 并显示在 Windows 上是可行的，但这只是“GUI 能显示”。大型 IDE 的实际体验还受以下因素影响：

• 项目位于 Linux 文件系统还是 /mnt/c；
• JDK、字体、输入法和剪贴板集成；
• GPU 加速与驱动支持；
• Windows 与 WSL 的内存占用；
• IDE 官方更推荐的远程开发路径。

10. 分辨率与缩放放在哪一层理解

现代 LCD/OLED 面板有固定的物理像素矩阵，但应用使用的逻辑坐标、桌面合成分辨率和链路输出时序可以不同。

至少要分清四个量：

层次	含义
逻辑坐标	应用和 UI 布局使用的坐标空间
渲染分辨率	应用实际生成 buffer 的像素尺寸
合成/输出分辨率	桌面最终 framebuffer 与输出信号尺寸
面板原生分辨率	物理发光像素数量

缩放可能发生在应用、compositor、GPU 显示管线或显示器 scaler。不能看到“看起来像 2560×1440”就直接推断 GPU 一定先渲染固定的 5K buffer；具体策略会随系统、显示器和缩放模式变化。

下采样会把多个源样本过滤到更少的目标像素。它不会保留全部空间频率信息，可能减少锯齿，也一定受采样理论约束。因此“内容完全没有丢失，只是融合成灰色”不是严格说法：窗口布局可以完整保留，但像素级细节必然经过有损重采样。

11. X11、Wayland、RDP 和 VNC 对照

机制	核心抽象	主要职责
X11	绘制资源、窗口和输入事件	GUI 客户端与 X Server 通信
Wayland	surface、buffer、输入与状态提交	客户端与 compositor 通信
RDP	远程桌面/应用呈现通道	跨系统传输图形、输入及外围能力
VNC	framebuffer 更新	远程传输桌面像素和输入
XWayland	Wayland 上的 X Server	兼容旧 X11 客户端

它们不是同一层的替代品。WSLg 同时使用 Wayland、XWayland 和 RDP，正说明这些组件可以串联协作。

12. 复习索引

• X Server 为什么在本地：它服务的是本地显示和输入资源。
• 按钮由谁识别：显示系统找到窗口，应用 UI 工具包找到控件。
• Wayland 是什么：客户端与 compositor 的协议；compositor 同时承担 display server 角色。
• 合成之后：通过 DRM/KMS 把 scanout buffer 交给显示控制器。
• 远程边界：Wayland 不等于远程桌面，但 compositor 可以接 RDP/VNC backend。
• WSLg：Weston + XWayland + RDP 集成，而不是简单的 Windows X Server。
• 缩放：逻辑布局可保留，像素细节会重采样，不能宣称无损。

13. 参考资料

• Wayland Architecture
• Wayland Protocol Documentation
• Microsoft WSLg Architecture Overview
• X.Org Documentation