LVS
Inhaltsverzeichnis
LVS
LVS ("Lua Video Sync") ist ein Filter-Plugin für die populären Windows Frameserver Avisynth, VirtualDub und DirectShow. Durch Angabe eines Skriptes (Lua Code enthaltend) als Parameter zum durch das Plugin registrierten Filter lassen sich Videobearbeitungen vornehmen (unter Avisynth auch Audio).
Die Macht der Lua Programmiersprache in Version 5.2, erweitert u.a. durch eine einfache, mächtige 2D Grafikbibliothek, ermöglicht eindrucksvolle grafische Bearbeitung von streamenden Video Frames in hoher Geschwindigkeit und mit vielen Mitteln.
Geschichte
Die Entwicklung von LVS begann im Jahre 2013 durch den Fansubber "Youka".
Inspiriert von Overlua wurde LVS als Nachfolger jenes unausgereiften Projektes beschlossen und sollte dessen großes Potenzial, programmatisch und direkt zu rendern und manipulieren, in einem frischen Gewand ausschöpfen. Als Alternative zu AFX zum typesetten komplexerer Erscheinungen und als mächtigeres Karaoke-FX Werkzeug zu den bisherigen fand es ersten Nutzen bei Fansubbern.
Definition
LVS sollte in folgenden Schritten verstanden werden, da es all diese vereint.
Frameserver plugin
LVS ist kein eigenständiges Programm, sondern eine Erweiterung für Frameserver, um eine Bearbeitung zwischen der Dekodierung eines Videos und dessen Ausgabe einzufügen. Abspielprogramme und Kodierer, welche Frameserver nutzen, können somit Filter auf das Eingangsmaterial anwenden, womit ein anderes Ausgangsmaterial entsteht. Nach Hinzufügen von LVS als Filter muss diesem ein Parameter angegeben werden: das Skript, das die Bearbeitung beschreibt.
Im Folgenden wird der Gebrauch von LVS mit den nutzbaren Frameservern gezeigt (dies schließt den Umgang mit den Frameservern selbst nicht ein).
Avisynth
Avisynth wird über eine Skriptsprache gesteuert, dementsprechend wird auch LVS eingefügt.
LoadPlugin("E:\LVS\plugin\LVS.dll") #Lädt Plugin 'LVS'/registriert Funktion 'LVS'
BlankClip() #Erstellt einen leeren Clip
LVS("hello.lua") #Führt Videobearbeitungsskript mit LVS aus
Die Definition der Funktion sieht wie folgt aus:
- clip = LVS(clip, string "video", string "audio", string "data")
- clip (1): Ausgabe-Video
- clip (2): Eingabe-Video
- string "video": Skript zur Videobearbeitung
- string "audio": Skript zur Audiobearbeitung
- string "data": String zur Übergabe in Skript-Umgebung
VirtualDub
VirtualDubs Video-Filterung ist über das Menü "Video", Menüeintrag "Filters...", erreichbar. Über den Button "Add..." lässt sich LVS aus einer Liste von Filtern hinzufügen und anschließend über einen Dialog dessen Skript-Parameter eingeben. Sollte LVS noch nicht in genannter Liste verfügbar sein, kann über den Button "Load..." das Plugin geladen werden.
DirectShow
Filter müssen erst als COM Objekt in der Windows-Registry registriert werden, um sie nutzbar für DirectShow gebrauchende Programme zu machen. Dies ist möglich mit dem Kommandozeilen-Programm regsvr32. Anschließend hängt es vom Anwenderprogramm ab, wie der Filter geladen wird.
Am Beispiel von MPC-HC kann über Menü View -> Options... -> External Filter LVS hinzugefügt, anschließend durch Setzen der Priorität auf 'Prefer' in die Filter-Kette gezwungen und nach Neustart des Programms über Menü Play -> Filters -> LVS konfiguriert werden.
Skript-Basis
Basis eines jeden LVS Skripts ist die Filter Funktion, durch welche Frames bzw. Samples geschickt werden.
Im Falle der Videobearbeitung muss diese GetFrame heißen. Der erste Aufrufparameter ist ein Frame als Bildobjekt, der zweite der Frame Index.
function GetFrame(frame, frame_i) -- Füll mich end
Bei Audiobearbeitung lautet der Funktionsname GetSamples. Der erste Aufrufparameter ist ein Table, die Samples enthaltend, der zweite die Table-Größe des letzteren und der dritte der Sample Index des ersten erhaltenen Samples (kanalübergreifend).
function GetSamples(samples, samples_n, sample_i) -- Füll mich end
Metainformationen eines Streams sind als globale Variablen verfügbar. Diese umfassen VIDEO_WIDTH, VIDEO_HEIGHT, VIDEO_HAS_ALPHA, VIDEO_FPS, VIDEO_FRAMES, AUDIO_CHANNELS, AUDIO_SAMPLE_RATE, AUDIO_SAMPLES und USERDATA (letzteres ist das data Argument in Avisynth und ist in beiden Stream-Typen verfügbar).
Grafikprogrammierung
Frames werden als Bildobjekt empfangen, welches Teil der nutzbaren g2d Grafikbibliothek ist. Neben dem Bildobjekt gibt es andere Grafikobjekte, welche zur Bearbeitung gebraucht werden können. Um all diese zu verwenden, werden über Member-Funktionen ihre Attribute verändert.
Eine Liste der Grafikobjekte:
- Image
- Das Bild, um welches sich die gesamte Bearbeitung dreht. Es kann leer oder aus einer PNG Datei erstellt, sowie als Videoframe empfangen werden. Ebenso dient es als Farbquelle und zur Analyse von Rendering-Verhalten.
- Context
- Der Bildkontext, nötig für die meisten Manipulationen am Bild. Farbquelle und Form kann auf diesen gesetzt und schließlich auf das Bild gemalt werden.
- Source
- Die Farbquelle, welche die Einfärbung der zu malenden Form beschreibt. Solide Farbe, Farbverläufe und Texturen sind ihre Arten und können zudem transformiert werden.
- Matrix
- Die Matrix, anwendbar für Transformationen an Farbquelle und Form. Rotation, Skalierung, Verschiebung, Scherung und weitere affine Transformationen lassen sich durch jene ausdrücken und kombinieren.
Die Bearbeitung eines Frames könnte nun wie folgt geschehen:
- Ein Kontext für das Bild/den Frame wird erstellt
- Eine Matrix zur Skalierung wird erstellt
- Die Matrix wird dem Kontext zugeordnet
- Ein linearer Farbverlauf wird erstellt
- Der Farbverlauf wird dem Kontext zugeordnet
- Ein Text wird als Form auf dem Kontext definiert
- Der Kontext füllt den Text mit dem Farbverlauf auf dem Frame.
Diese Beschreibung kann weit variieren, z.B. kann die Matrix eine Verschiebung in den Koordinaten-Ursprung, dann eine Rotation und schließlich die Verschiebung zurück ausdrücken, der Farbverlauf kann eine Textur anhand einer Bilddatei, die Form mit Linien und Kurven gestaltet sein und statt das Innere der Form am Ende zu füllen, kann dies mit dessen Aussenlinie geschehen.
TODO
Audioprogrammierung
Samples werden im Format Float32, also einer Amplitudenangabe von -1.0 bis +1.0, und als channel interlaced, also in Kanäle-Blöcken, empfangen.
| S1
C1 |
S1
C2 |
S2
C1 |
S2
C2 |
S3
C1 |
S3
C2 |
... |
- S = Sample Index
- C = Channel
Unter Zuhilfenahme der Metainformationen, wie die Anzahl an Kanälen und der Sample Rate, lässt sich mit ihnen arbeiten.
Wer noch nichts mit Audiobearbeitung zu tun hatte und daher manch genannte Begriffe nicht kennt, kann hier und hier etwas lernen.
Erweiterungen
Das Plugin berücksichtigt den Ordner LVS, welcher sich im selben Verzeichnis wie jenes befinden muss, als Bibliotheken-Sammlung. Alle Lua Dateien innerhalb dieses Ordners werden vor jeder Ausführung von LVS geladen, somit lassen sich dort eigene Funktionen und Variablen ablegen, um sie stets ohne weiteren Aufwand nutzen zu können.
Anfangs sind bereits 2 Erweiterungen verfügbar: g2du, eine Erweiterung und Ergänzung der g2d Bibliothek, und ass, Funktionen zum Umgang mit ASS Inhalten.
TODO
Beispiele
Folgende Beispiele sind Skripte zur Ausführung mit LVS.
Video
Folgende Skripte dienen der Videobearbeitung.
Minimal
Frame-Farben werden invertiert.
function GetFrame(frame, frame_i) frame:invert() end
Zeichnen
Zeichnet eine gelbe Aussenlinie eines Halbkreises.
function GetFrame(frame, frame_i)
local ctx = frame:get_context()
ctx:path_move_to(100, 100)
ctx:path_line_to(200, 100)
ctx:path_add_arc(150, 100, 50, 0, -180)
ctx:set_line_width(5)
ctx:set_line_join("BEVEL")
ctx:set_source(g2du.yellow)
ctx:stroke()
end
Text
"Hello world\nfrom LVS!" mit einem rot-zu-grün Farbverlauf.
local pos = {
x = 100,
y = 100
}
local text_properties = {
"Hello world\nfrom LVS!", -- Text
"Arial", -- Font
50, -- Size
true, -- Bold?
true, -- Italic?
true, -- Underline?
true -- Strikeout?
}
local text_extents = {g2d.text_extents(table.unpack(text_properties))}
function GetFrame(frame, frame_i)
local ctx = frame:get_context()
ctx:path_add_text(pos.x, pos.y, table.unpack(text_properties))
ctx:set_source(
g2d.create_lgradient(pos.x, pos.y, pos.x + text_extents[1], pos.y + text_extents[2])
:add_color(0, 1,0,0)
:add_color(1, 0,1,0)
)
ctx:fill()
end
Karaoke
-- Parse ASS file and fill global tables
ass.load("my_ktime.ass")
-- Roumaji & Kanji
local function roumaji_kanji(ctx, ms, line)
-- Iterate through sylables
for _, syl in ipairs(line.styleref.alignment < 7 and line.chars or line.syls) do -- Use characters in case of kanjis
-- Set color dependent on sylable activity
ctx:set_source(ms >= syl.start_time and ms < syl.end_time and g2du.red or g2du.yellow)
-- Draw sylable text
ctx:path_add_text(syl.x, syl.y, syl.text, ass.unpack_font(line.styleref))
ctx:fill()
ctx:path_clear()
end
end
-- Subtitle
local function subtitle(ctx, line)
-- Draw line text
ctx:path_add_text(line.x, line.y, line.text, ass.unpack_font(line.styleref))
ctx:set_source(g2du.yellow)
ctx:fill()
ctx:path_clear()
end
-- Process frames
function GetFrame(frame, frame_i)
-- Create drawing context for frame
local ctx = frame:get_context()
-- Get frame time
local ms = frame_i / VIDEO_FPS * 1000
-- Look for frame-related ASS lines
for _, line in ipairs(lines) do
if ms >= line.start_time and ms < line.end_time then
-- Draw ASS line
if line.styleref.alignment > 3 then
roumaji_kanji(ctx, ms, line)
else
subtitle(ctx, line)
end
end
end
end
Audio
Folgende Skripte dienen der Audiobearbeitung.
Minimal
Erstellt ein Rauschen.
function GetSamples(samples, samples_n, start_sample_i) for i = 1, samples_n do samples[i] = math.random(-1000,1000) / 1000 end end
Kanal-Tausch
Tauscht bei Stereo den linken mit dem rechten Kanal.
function GetSamples(samples, samples_n, start_sample_i) if AUDIO_CHANNELS == 2 then for i = 1, samples_n, 2 do local temp = samples[i] samples[i] = samples[i+1] samples[i+1] = temp end end end
Audio zu Text
Schreibt Audiodaten als Text in eine Datei.
local file = io.open("audio.txt", "w")
file:write(string.format("Channels: %d\nSample rate: %d\nSamples: %d\n\n", AUDIO_CHANNELS, AUDIO_SAMPLE_RATE, AUDIO_SAMPLES))
function GetSamples(samples, samples_n, start_sample_i)
file:write(table.concat(samples, "\n"))
file:write("\n")
end
