Discussions
HeyGen API Problem: Lip-Sync funktioniert nicht bei Photo Avatars mit Motion
4 months ago by raffael
HeyGen API Problem: Lip-Sync funktioniert nicht bei Photo Avatars mit Motion
Das Problem
Ich verwende die HeyGen API über n8n um spirituelle Videos zu generieren. Meine Photo Avatars haben alle is_motion: true (Motion wurde hinzugefügt).
Wenn ich über die API /v2/video/generate mit character.type: "talking_photo" ein Video generiere:
- ❌ Der Lip-Sync passt NICHT zum neuen Text
- ❌ Das Video ist nur 2-3 Sekunden lang (die Länge der pre-baked Motion)
- ❌ Die Avatar-Lippen bewegen sich zu einer alten/anderen Animation
- ❌ Es werden 6 Credits/Min verbraucht (Avatar IV Preis) statt 1 Credit/Min (Unlimited)
Aber: In der HeyGen Web-Oberfläche kann ich bei denselben Avatars "Unbegrenzt" (Unlimited) als Engine wählen und bekomme echten Lip-Sync für nur 1 Credit/Min!
Technische Details
Mein API Request:
POST https://api.heygen.com/v2/video/generate
{
"video_inputs": [{
"character": {
"type": "talking_photo",
"talking_photo_id": "4eca56479bb241e98d1b4169a05fc84b"
},
"voice": {
"type": "text",
"input_text": "Eins zwei drei vier fünf. Dies ist ein Test.",
"voice_id": "1aa455a2f1f14d7896fdaf93eb698ece"
}
}]
}
Ergebnis:
- Video wird generiert (video_id zurückgegeben)
- Aber: Video ist nur 2.72 Sekunden lang
- Lip-Sync passt nicht zum Text "Eins zwei drei vier fünf"
- Stattdessen wird die pre-baked Motion Animation abgespielt
API Usage Log zeigt:
| Video | Scene Type | Credits | Duration |
|---|---|---|---|
| API-generiert | avatar_photo | 6 | 30s |
| Manuell (Unlimited) | video | 1 | 30s |
Was ich bereits versucht habe
- ✅ Verschiedene Avatar-IDs getestet
- ✅ Verschiedene Credentials/API Keys
- ✅ Minimalen JSON Body ohne Extra-Parameter
- ❌ Konnte keinen Parameter finden um "Unlimited" vs "Avatar IV" zu wählen
- ❌ Kann Motion nicht deaktivieren (Avatare sind mit
is_motion: truegespeichert)
Meine Vermutungen
- Avatar mit Motion (
is_motion: true) → API spielt pre-baked Animation ab - Es gibt einen versteckten Parameter um zwischen Avatar III/Unlimited und Avatar IV zu wechseln
- Die Web-Oberfläche macht etwas anderes als die dokumentierte API
Was ich suche
-
Gibt es einen API-Parameter um explizit "Unlimited/Avatar 3" statt "Avatar IV" zu wählen?
- Z.B.
engine: "unlimited"odergen_engine: "avatar_3"?
- Z.B.
-
Kann man Motion deaktivieren ohne einen neuen Avatar zu erstellen?
- Gibt es einen API-Endpoint um
is_motionauffalsezu setzen?
- Gibt es einen API-Endpoint um
-
Muss ich neue Avatar-Looks ohne Motion erstellen?
- Wenn ja, wie mache ich das über die API?
- Kann ich die bestehenden Bilder wiederverwenden?
-
Was macht die Web-Oberfläche anders?
- Welchen Endpoint/Parameter verwendet HeyGen intern wenn man "Unbegrenzt" auswählt?
Relevante HeyGen API Endpoints
/v2/video/generate- Standard Video Generation/v2/video/av4/generate- Avatar IV (6 Credits/Min)/v2/photo_avatar/{id}- Photo Avatar Details/v2/photo_avatar/add_motion- Motion hinzufügen/v2/avatar_group.list- Avatar Gruppen auflisten/v2/avatar_group/{id}/avatars- Avatare in Gruppe auflisten
Kontext
- Airtable: 75+ Avatar-IDs gespeichert (alle mit Motion)
- n8n Workflow: Generiert spirituelle Texte mit OpenAI, dann Videos mit HeyGen
- Ziel: Unlimited Videos (1 Credit/Min) mit echtem Lip-Sync, NICHT Avatar IV (6 Credits/Min)
Fragen an die Community/Support
- Wie kann ich über die API das "Unlimited" Engine auswählen?
- Gibt es einen undokumentierten Parameter?
- Hat jemand dasselbe Problem gehabt und eine Lösung gefunden?
- Kann HeyGen Support die Engine-Auswahl für API-Calls bestätigen?