LVS

LVS

LVS ("Lua Video Sync") ist ein Filter-Plugin für die populären Windows Frameserver Avisynth, VirtualDub und DirectShow. Durch Angabe eines Skriptes (Lua Code enthaltend) als Parameter zum durch das Plugin registrierten Filter lassen sich Videobearbeitungen vornehmen (unter Avisynth auch Audio).

Die Macht der Lua Programmiersprache in Version 5.2, erweitert u.a. durch eine einfache, mächtige 2D Grafikbibliothek, ermöglicht eindrucksvolle grafische Bearbeitung von streamenden Video Frames in hoher Geschwindigkeit und mit vielen Mitteln.

Geschichte

Die Entwicklung von LVS begann im Jahre 2013 durch den Fansubber "Youka".

Inspiriert von Overlua wurde LVS als Nachfolger jenes unausgereiften Projektes beschlossen und sollte dessen großes Potenzial, programmatisch und direkt zu rendern und manipulieren, in einem frischen Gewand ausschöpfen. Als Alternative zu AFX zum typesetten komplexerer Erscheinungen und als mächtigeres Karaoke-FX Werkzeug zu den bisherigen fand es ersten Nutzen bei Fansubbern.

Definition

LVS sollte in folgenden Schritten verstanden werden, da es all diese vereint.

Frameserver plugin

LVS ist kein eigenständiges Programm, sondern eine Erweiterung für Frameserver, um eine Bearbeitung zwischen der Dekodierung eines Videos und dessen Ausgabe einzufügen. Abspielprogramme und Kodierer, welche Frameserver nutzen, können somit Filter auf das Eingangsmaterial anwenden, womit ein anderes Ausgangsmaterial entsteht. Nach Hinzufügen von LVS als Filter muss diesem ein Parameter angegeben werden: das Skript, das die Bearbeitung beschreibt.

Im Folgenden wird der Gebrauch von LVS mit den nutzbaren Frameservern gezeigt (dies schließt den Umgang mit den Frameservern selbst nicht ein).

Avisynth

Avisynth wird über eine Skriptsprache gesteuert, dementsprechend wird auch LVS eingefügt.

LoadPlugin("E:\LVS\plugin\LVS.dll")	#Lädt Plugin 'LVS'/registriert Funktion 'LVS'

BlankClip()				#Erstellt einen leeren Clip
LVS("hello.lua")			#Führt Videobearbeitungsskript mit LVS aus

Die Definition der Funktion sieht wie folgt aus:

clip = LVS(clip, string "video", string "audio", string "data")

clip (1): Ausgabe-Video

clip (2): Eingabe-Video

string "video": Skript zur Videobearbeitung

string "audio": Skript zur Audiobearbeitung

string "data": String zur Übergabe in Skript-Umgebung

VirtualDub

VirtualDubs Video-Filterung ist über das Menü "Video", Menüeintrag "Filters...", erreichbar. Über den Button "Add..." lässt sich LVS aus einer Liste von Filtern hinzufügen und anschließend über einen Dialog dessen Skript-Parameter eingeben. Sollte LVS noch nicht in genannter Liste verfügbar sein, kann über den Button "Load..." das Plugin geladen werden.

DirectShow

Filter müssen erst als COM Objekt in der Windows-Registry registriert werden, um sie nutzbar für DirectShow gebrauchende Programme zu machen. Dies ist möglich mit dem Kommandozeilen-Programm regsvr32. Anschließend hängt es vom Anwenderprogramm ab, wie der Filter geladen wird.

Am Beispiel von MPC-HC kann über Menü View -> Options... -> External Filter LVS hinzugefügt, anschließend durch Setzen der Priorität auf 'Prefer' in die Filter-Kette gezwungen und nach Neustart des Programms über Menü Play -> Filters -> LVS konfiguriert werden.

Skript-Basis

Basis eines jeden LVS Skripts ist die Filter Funktion, durch welche Frames bzw. Samples geschickt werden.

Im Falle der Videobearbeitung muss diese GetFrame heißen. Der erste Aufrufparameter ist ein Frame als Bildobjekt, der zweite der Frame Index.

function GetFrame(frame, frame_i)
	-- Füll mich
end

Bei Audiobearbeitung lautet der Funktionsname GetSamples. Der erste Aufrufparameter ist ein Table, die Samples enthaltend, der zweite die Table-Größe des letzteren und der dritte der Sample Index des ersten erhaltenen Samples (kanalübergreifend).

function GetSamples(samples, samples_n, sample_i)
	-- Füll mich
end

Metainformationen eines Streams sind als globale Variablen verfügbar. Diese umfassen VIDEO_WIDTH, VIDEO_HEIGHT, VIDEO_HAS_ALPHA, VIDEO_FPS, VIDEO_FRAMES, AUDIO_CHANNELS, AUDIO_SAMPLE_RATE, AUDIO_SAMPLES und USERDATA (letzteres ist das data Argument in Avisynth und ist in beiden Stream-Typen verfügbar).

Grafikprogrammierung

Frames werden als Bildobjekt empfangen, welches Teil der nutzbaren g2d Grafikbibliothek ist. Neben dem Bildobjekt gibt es andere Grafikobjekte, welche zur Bearbeitung gebraucht werden können. Um all diese zu verwenden, werden über Member-Funktionen ihre Attribute verändert.

Eine Liste der Grafikobjekte:

• Image

Das Bild, um welches sich die gesamte Bearbeitung dreht. Es kann leer oder aus einer PNG Datei erstellt, sowie als Videoframe empfangen werden. Ebenso dient es als Farbquelle und zur Analyse von Rendering-Verhalten.

• Context

Der Bildkontext, nötig für die meisten Manipulationen am Bild. Farbquelle und Form kann auf diesen gesetzt und schließlich auf das Bild gemalt werden.

• Source

Die Farbquelle, welche die Einfärbung der zu malenden Form beschreibt. Solide Farbe, Farbverläufe und Texturen sind ihre Arten und können zudem transformiert werden.

• Matrix

Die Matrix, anwendbar für Transformationen an Farbquelle und Form. Rotation, Skalierung, Verschiebung, Scherung und weitere affine Transformationen lassen sich durch jene ausdrücken und kombinieren.

Die Bearbeitung eines Frames könnte nun wie folgt geschehen:

1. Ein Kontext für das Bild/den Frame wird erstellt
2. Eine Matrix zur Skalierung wird erstellt
3. Die Matrix wird dem Kontext zugeordnet
4. Ein linearer Farbverlauf wird erstellt
5. Der Farbverlauf wird dem Kontext zugeordnet
6. Ein Text wird als Form auf dem Kontext definiert
7. Der Kontext füllt den Text mit dem Farbverlauf auf dem Frame.

Diese Beschreibung kann weit variieren, z.B. kann die Matrix eine Verschiebung in den Koordinaten-Ursprung, dann eine Rotation und schließlich die Verschiebung zurück ausdrücken, der Farbverlauf kann eine Textur anhand einer Bilddatei, die Form mit Linien und Kurven gestaltet sein und statt das Innere der Form am Ende zu füllen, kann dies mit dessen Aussenlinie geschehen.

TODO

Audioprogrammierung

Samples werden im Format Float32, also einer Amplitudenangabe von -1.0 bis +1.0, und als channel interlaced, also in Kanäle-Blöcken, empfangen.

S1 C1

S1 C2

S2 C1

S2 C2

S3 C1

S3 C2

...

S = Sample Index

C = Channel

Unter Zuhilfenahme der Metainformationen, wie die Anzahl an Kanälen und der Sample Rate, lässt sich mit ihnen arbeiten.

Wer noch nichts mit Audiobearbeitung zu tun hatte und daher manch genannte Begriffe nicht kennt, kann hier und hier etwas lernen.

Erweiterungen

Das Plugin berücksichtigt den Ordner LVS, welcher sich im selben Verzeichnis wie jenes befinden muss, als Bibliotheken-Sammlung. Alle Lua Dateien innerhalb dieses Ordners werden vor jeder Ausführung von LVS geladen, somit lassen sich dort eigene Funktionen und Variablen ablegen, um sie stets ohne weiteren Aufwand nutzen zu können.

Anfangs sind bereits 2 Erweiterungen verfügbar: g2du, eine Erweiterung und Ergänzung der g2d Bibliothek, und ass, Funktionen zum Umgang mit ASS Inhalten.

TODO

Beispiele

Folgende Beispiele sind Skripte zur Ausführung mit LVS.

Video

Folgende Skripte dienen der Videobearbeitung.

Minimal

Frame-Farben werden invertiert.

function GetFrame(frame, frame_i)
	frame:invert()
end

Zeichnen

Zeichnet eine gelbe Aussenlinie eines Halbkreises.

function GetFrame(frame, frame_i)
	local ctx = frame:get_context()
	ctx:path_move_to(100, 100)
	ctx:path_line_to(200, 100)
	ctx:path_add_arc(150, 100, 50, 0, -180)
	ctx:set_line_width(5)
	ctx:set_line_join("BEVEL")
	ctx:set_source(g2du.yellow)
	ctx:stroke()
end

Text

"Hello world\nfrom LVS!" mit einem rot-zu-grün Farbverlauf.

local pos = {
	x = 100,
	y = 100
}
local text_properties = {
	"Hello world\nfrom LVS!",	-- Text
	"Arial",	-- Font
	50,	-- Size
	true,	-- Bold?
	true,	-- Italic?
	true,	-- Underline?
	true	-- Strikeout?
}
local text_extents = {g2d.text_extents(table.unpack(text_properties))}

function GetFrame(frame, frame_i)
	local ctx = frame:get_context()
	ctx:path_add_text(pos.x, pos.y, table.unpack(text_properties))
	ctx:set_source(
		g2d.create_lgradient(pos.x, pos.y, pos.x + text_extents[1], pos.y + text_extents[2])
		:add_color(0, 1,0,0)
		:add_color(1, 0,1,0)
	)
	ctx:fill()
end

Karaoke

-- Parse ASS file and fill global tables
ass.load("my_ktime.ass")

-- Roumaji & Kanji
local function roumaji_kanji(ctx, ms, line)
	-- Iterate through sylables
	for _, syl in ipairs(line.styleref.alignment < 7 and line.chars or line.syls) do	-- Use characters in case of kanjis
		-- Set color dependent on sylable activity
		ctx:set_source(ms >= syl.start_time and ms < syl.end_time and g2du.red or g2du.yellow)
		-- Draw sylable text
		ctx:path_add_text(syl.x, syl.y, syl.text, ass.unpack_font(line.styleref))
		ctx:fill()
		ctx:path_clear()
	end
end

-- Subtitle
local function subtitle(ctx, line)
	-- Draw line text
	ctx:path_add_text(line.x, line.y, line.text, ass.unpack_font(line.styleref))
	ctx:set_source(g2du.yellow)
	ctx:fill()
	ctx:path_clear()
end

-- Process frames
function GetFrame(frame, frame_i)
	-- Create drawing context for frame
	local ctx = frame:get_context()
	-- Get frame time
	local ms = frame_i / VIDEO_FPS * 1000
	-- Look for frame-related ASS lines
	for _, line in ipairs(lines) do
		if ms >= line.start_time and ms < line.end_time then
			-- Draw ASS line
			if line.styleref.alignment > 3 then
				roumaji_kanji(ctx, ms, line)
			else
				subtitle(ctx, line)
			end
		end
	end
end

Audio

Folgende Skripte dienen der Audiobearbeitung.

Minimal

Erstellt ein Rauschen.

function GetSamples(samples, samples_n, start_sample_i)
	for i = 1, samples_n do
		samples[i] = math.random(-1000,1000) / 1000
	end
end

Kanal-Tausch

Tauscht bei Stereo den linken mit dem rechten Kanal.

function GetSamples(samples, samples_n, start_sample_i)
	if AUDIO_CHANNELS == 2 then
		for i = 1, samples_n, 2 do
			local temp = samples[i]
			samples[i] = samples[i+1]
			samples[i+1] = temp
		end
	end
end

Audio zu Text

Schreibt Audiodaten als Text in eine Datei.

local file = io.open("audio.txt", "w")
file:write(string.format("Channels: %d\nSample rate: %d\nSamples: %d\n\n", AUDIO_CHANNELS, AUDIO_SAMPLE_RATE, AUDIO_SAMPLES))

function GetSamples(samples, samples_n, start_sample_i)
	file:write(table.concat(samples, "\n"))
	file:write("\n")
end

Videos

Karaoke Beispiele

Oreimo S2 ED13

Links

• Projektseite auf Sourceforge
• Forum