1. 리눅스 그래픽 시스템과 Wayland/Weston

<X Window & Wayland>

wayland는 그래픽 시스템에 있어 서버와 클라이언트간의 통신을 정의한 프로토콜 이다. wayland는 초창기에 Kristian Høgsberg에 의해 기존 X window를 더 단순하고 모던하게 바꾸려는 목적과 함께 오픈소스 프로젝트로서 주도 되었으며 이러한 노력의 일환으로 wayland 레퍼런스 컴포지터인 weston의 개발이 함께 시작되었다. 프로젝트가 시작 된 주요 이유는 X window에서 수행되던 수많은 하부 기능들이 커널(memory management, command scheduling, mode setting)이나 라이브러리(cairo, pixman, freetype, fontconfig, pango, etc)로 옮겨져 사용 되지 않음에도 불구하고 user는 잔존해 있는 X protocol을 지원해야만 했기 때문이다.

 

 

 

출처: https://wayland.freedesktop.org/architecture.html

구조/동작 상의 차이점

 

wayland를 사용하는 대표적인 이유

•기존 대비(X11) 경량화, 체계화 된 프레임웍

•기존의 X11이 사용하지 않는 부분을 제거하고 필요한 부분 만을 구현

•표준 GEM/DRM 스택을 이용하여 최대한 단순하게 구현
(커널에서 DRM/GEM을 지원하여 더 이상 user framework이 복잡해 질 필요가 없음)

•Genivi, AGL, Tizen 플랫폼에서 사용

•X11의 1/10크기

<Wayland 동작>

Wayland 렌더링 모델

•Wayland프로토콜은 렌더링 API가 없음

•클라이언트가 윈도우 컨텐츠를 렌더링 해야 하며 이 컨텐츠는 컴포지터와 공유할 수 있는 버퍼이여야 함

•클라이언트가 스스로 렌더링 하기 위해서는, 렌더링 라이브러리(Cairo, OpenGL)나 wayland가 지원하는 high-level widget 라이브러리를 사용하여야 함

•렌더링 된 결과 버퍼는 wl_buffer object에 저장되어 있음

•만약 클라이언트가 소프트웨어 렌더링을 사용하고 결과가 system 메모리에 저장되어 있다면, 버퍼 커뮤니케이션을 구현하기 위하여 클라이언트와 컴포지터는 shared memory를 사용할 수 있음(특별한 복사 동작 없이)

•Wayland프로토콜은 wl_shm, wl_shm_pool 인터페이스를 통하여 Shared memory 버퍼를 지원한다

•전형적인 방법은 클라이언트가 GPU API(OpenGL, OpenGL ES, Vulkan)를 사용하여 비디오 메모리 버퍼에 직접 렌더링 하는 것임

•클라이언트와 컴포지터는 특별한 핸들러를 이용하여 비디오 버퍼를 공유할 수 있음

wayland 서버의 동작 모델

•App launcher, task switcher와 같은 코어 UI

•KMS를 동작 시킬 수 있음

•어플리케이션들의 최종 화면을 합성 할 수 있음(hardware overlay 포함)

https://en.wikipedia.org/wiki/Wayland_(display_server_protocol)

Wayland를 사용하는 어플리케이션을 이해 하는것 뿐만 아니라 Wayland compositor의 동작을 이해하기 위해서는 리눅스 시스템의 그래픽 시스템을 두루 알고 있어야 가능하다. 특히 opengl, Mesa, DRM에 대한 개념 없이 wayland의 구현을 이해할 수는 없다.

<Weston>

•Wayland protocol/compositor을 구현

•Shell plugin 지원(desktop-shell, xdg-shell …)

•weston은 윈도우들을 여러 계층으로(레이어) 구분해서 관리한다
(마우스 커서 뷰, app1 뷰, app2 뷰 …)

•weston은 shell을 이용하여 출력되는 각 윈도우(뷰)의 순서를 결정한다

•weston은 윈도우를 화면에 나타나게 하거나 위치를 옮기거나 크기를 변경하는 기능을 지원한다(get_shell_surface()로 wl_surface를 얻은 후)

shell

윈도우를 옮기거나 크기를 변경하고 패널이나 배경화면을 보여주는 기능

모든 윈도우 화면상에서의 위치와 크기를 결정(마우스 클릭, 드래그, 최대/최소)

Compositor

화면위에 겹쳐있는 모든 윈도우들을 하나의 스크린 위에 합쳐서 보여주는 역할(윈도우 우선순위 결과)

weston supported layer

•fade_layer..

•cursor_layer..

•fullscreen_layer..

•panel_layer..

•workspace_layer..

•background_layer..

•lock_layer..

•input_panel_layer..

Wayland

•X11을 대체하는 새로운 window manager이며, 클라이언트 및 서버에서 사용할 수 있는 프로토콜, 라이브러리를 제공

•윈도우 서버(컴포지터)와 클라이언트가 통신하기 위한 프로토콜 정의(wayland.xml)

•윈도우 매니징, 컴포지팅 역할 수행

•wayland client: wayland클라이언트 라이브러리를 이용하여 window를 생성(클라이언트 어플리케이션)

•wayland server: wayland서버 라이브러리를 이용하여 window를 관리하고 화면에 출력 하는 서비스(weston 서버)

Weston

•Wayland 프로토콜과 컴포지터를 구현 함

•Wayland 에서 제공하는 Wayland server의 레퍼런스 구현체(wayland 프로토콜을 구현한 레퍼런스 컴포지터)

•shell plugin지원 (desktop-shell, xdg-shell, tablet-shell …, ivi-shell)

Shell

•Window를 관리하기 위한 Policy를 정의하며, window들의 life cycle 및 window managing기능을 포함

•윈도우를 옮기거나 크기를 변경하고 패널이나 배경화면을 보여주는 기능을 가짐

•윈도우, 패널, 백그라운드 운용에 대한 정책 구현

Compositor

•각각의 윈도우 화면을 갱신하고, 겹쳐진 윈도우들을 하나의 화면으로 보여주는 기능

Desktop-shell

•전통적인 데스크탑과 같은 윈도우 매니지와 키보드/마우스 인터페이스를 지원하는 plugin

•바탕화면, 패널, 스크린 잠금 지원

xdg-shell

•윈도우의 위치를 옮기고 크기를 조절하거나, 전체화면으로 전환하는 등의 기능을 지원하는 plugin

ivi-shell

•wayland의 서페이스(wl_surface)를 ivi-application 프로토콜에 맵핑하여 surface, layer, screen의 관리 기능을 지원하는 plugin

Wayland IVI Extension

•weston의 밖에서 등록되어 있는 surface들을 컨트롤 하기 위한 라이브러리

OpenGL

•실리콘 그래픽스사에서 만든 2차원 및 3차원 그래픽스 표준 API로서 프로그래머에게 단일한 API를 제공함으로서 서로 다른 3차원 가속기(GPU)를 지원한다.

OpenGL ES

•입베이드 단말을 위한 OpenGL

GLSL

•OpenGL의 상위 레벨 셰이딩 언어

MESA

•OpenGL API를 구현한 오픈 소스

DRI

•DRI는 X Window 시스템 환경에서 그래픽 하드웨어를 직접 접근하기 위한 framework이다. DRI는 X server의 변경과

여러가지의 클라이언트 라이브러리, 그리고 커널의 DRM(Direct Rendering Manager)를 포함 한다. DRI 사용의 가장 중요한 점은

Mesa를 위한 H/W 가속을 지원하는 빠른 OpenGL 프로그램을 만들기 위함이다

DRM

•DRM은 FBDEV(fb드라이버)를 대체하는 디스플레이 컨트롤 드라이버이자 GPU접근을 가능케 하는 리눅스 커널의
서브 시스템이다. (DRM드라이버를 사용하여 디스플레이컨트롤과 GPU컨트롤을 함께  제어 할 수 있다.)

리눅스 커널의 서브 시스템인 DRM(Direct Rendering Manager)은 GPU를 접근할 수 있는 Display H/W IP

(통칭하여 그래픽 하드웨어, X86 desktop PC에서의 Video cards)를 제어하기 위한 커널 드라이버라고 할 수 있다.

KMS

•kernel에서 그래픽 하드웨어 출력에 대한 설정/변경 을 담당한다.(resolutions, color depths, memory layouts and refresh rate)

GEM

•DRM드라이버는 GEM을 이용하여 메모리 버퍼를 관리한다

https://en.wikipedia.org/wiki/Wayland_(display_server_protocol)

위 그림은 DRM을 사용하는 리눅스 시스템에서 OpenGL을 사용하는 어플리케이션의 동작을 나타낸 그림이다. 기존의 OpenGL 어플리케이션과 같이 Wayland 어플리케이션도 EGL을 이용하여 direct rendering을 사용한다. 본문의 예제는 어플리케이션이 wayland없이 DRM을 이용하는 것과 wayland위에서 DRM을 이용하는 케이스를 포함한다.

 

 

 

Linux graphics system without wayland

 

위 그림은 어플리케이션이 wayland없이  OpenGL과 DRM 드라이버를 사용하는 구조를 보여주고 있다.

위 상황에서는 어플리케이션 스스로가 OpenGL 과 커널 DRM interface를 이용하여 최종 이미지를 원하는 영역에 출력 해야 한다.

 

 

Linux graphics system with wayland

위 그림은 어플리케이션이 wayland를 이용하여  OpenGL과 DRM 드라이버를 사용하는 구조를 보여주고 있다. 윈도우 매니져 기능을 하는 wayland가

OpenGL명령과 KMS 제어에 관여하여 어플리케이션의 최종 이미지를 합성하거나 렌더링 한다.

임베디드에서는 MESA가 특정 부분만 구현되어 사용되고 있는 경우가 많으나 전체적인 동작 구조를 좀더 쉽게 이해하고자 위와 같이 표현하였다.

다음장에서 예제를 통하여 어떻게 연결되어 지는지 알아볼 것이다