|
Table of Contents
|
(इस लेखमाला का आरम्भ रस−सिद्धान्तम् : वैदिक सौन्दर्यशास्त्र और नाट्यशास्त्रीय रसविज्ञान से है ।)
AI Film Studio का सिद्धान्त और व्यावहारिक कार्यरूप
AI Film Studio का उद्देश्य केवल पाठ से चित्र या चलचित्र बनाना नहीं है। उसका वास्तविक उद्देश्य अव्यक्त सृजन-दृष्टि को व्यक्त नाट्य-रूप देना है। यहाँ कृत्रिम बुद्धि [Artificial Intelligence] स्वयं सृजन-स्रोत नहीं है, बल्कि वह निर्देशक की पश्यन्ती [Creative Imagination] को व्यवस्थित करने, ध्वनि, संवाद, चित्र, शॉट, दृश्य और सम्पादन में ढालने का उपकरण है। वास्तविक चैतन्य पुरुष में है; बुद्धि, चाहे मानवीय हो या कृत्रिम, प्रकृति का जड़ उपकरण है। इसलिए AI Film Studio में AI को स्वामी नहीं, साधन मानना चाहिए।
चलचित्र-सृजन का आधार यह है कि रूप [Form] को कभी बाहर से आरोपित नहीं किया जाना चाहिए। वास्तविक वस्तु अव्यक्त [Unmanifest] होती है। जब वह ठीक प्रकार से व्यक्त [Manifest] होती है, तब उसका अपना रूप स्वाभाविक रूप से प्रकट होता है। अतः शॉट, कैमरा-कोण, प्रकाश, संगीत, संवाद, गति और अवधि पहले से बने हुए नियमों से नहीं चुने जाने चाहिए; वे सम्पूर्ण दृश्य [Drishya] के आन्तरिक भाव-संरचना से स्वाभाविक रूप से निकलने चाहिए।
१. मूल तत्त्व : परा, पश्यन्ती, मध्यमा, वैखरी
सृजन की गहराई में परा [Para] है, जो सार्वभौम चेतना [Universal Consciousness] या ईश्वर की दिशा है। वह इन्द्रियों से व्यक्त नहीं होती। पश्यन्ती [Pashyanti] वह मौन सृजन-दृष्टि है जिसमें रूप अभी शब्द, ध्वनि या चित्र नहीं बना है, परन्तु सम्पूर्ण कृति का बीज उसमें विद्यमान है। मध्यमा [Madhyama] वह स्तर है जहाँ यह मौन अनुभूति आन्तरिक विचार, भाव-संरचना, चरित्र-सहानुभूति और दृश्य-संयोजन में उतरती है। वैखरी [Vaikhari] वह स्तर है जहाँ वही वस्तु शब्द, संवाद, स्वर, चित्र, शॉट, संगीत और सम्पादन के रूप में प्रत्यक्ष होती है।
AI Film Studio का स्थान मुख्यतः मध्यमा और वैखरी में है। परा और पश्यन्ती का स्रोत निर्देशक, कवि या कलाकार की अन्तर्दृष्टि में है। AI उस स्रोत को उत्पन्न नहीं कर सकता, किन्तु उसके व्यक्तीकरण में सहायता कर सकता है।
२. नाट्यशास्त्र : सार्वभौम सृजन-व्याकरण
भरतमुनि का नाट्यशास्त्र किसी संकीर्ण राष्ट्रीय सिद्धान्त का नाम नहीं है। वह सार्वभौम सृजन-प्रक्रिया का अत्यन्त सूक्ष्म व्याकरण है। प्रतिभा किसी एक देश की सम्पत्ति नहीं है। वास्तविक प्रतिभा सार्वभौम चेतना से जुड़ती है। जब अहंकार [Ego] सृजन पर अधिकार कर लेता है, तब कला मर जाती है। जब निर्देशक अपने अहंकार से ऊपर उठकर पात्रों के साथ एक्यानुभूति [Empathy] करता है (सहानुभूति [Sympathy] नहीं, सहानुभूति में अहं का द्वैत है) , तब वह केवल बाहरी कथा नहीं बनाता; वह भाव-संस्कार [Bhava-Sanskara] का माध्यम बनता है।
इस दृष्टि से सौन्दर्य केवल मनोरञ्जन नहीं है। सौन्दर्य भाव-संस्कार है। कला पश्यन्ती का नाट्यीकरण है। रस सहृदय में अन्तर्दृष्टि का आनन्दमय पुनर्जागरण है।
३. इतिहास, वर्तमान और नाट्य
वास्तविकता वर्तमान है, जिसकी अवधि शून्य है। वर्तमान का पृष्ठभूमि-क्षेत्र इतिहास [Itihasa] है। इतिहास केवल बीता हुआ मृत अतीत नहीं है; वह समाज की जीवित स्मृति, संस्कार, विश्वास, नाम, प्रतीक, पर्व, आदर्श और सामूहिक चेतना का आधार है। वर्तमान कर्म इसी इतिहास-सन्दर्भ में भविष्य को गढ़ता है।
नाट्य [Natya] इसी वर्तमान-सन्धि का कलात्मक रूप है। उसमें इतिहास पृष्ठभूमि देता है, वर्तमान में संघर्ष उत्पन्न होता है, और भविष्य में भाव-संस्कार फलित होता है। इस प्रकार नाट्य thesis और antithesis की सन्धि है, जिसमें catharsis केवल भाव-निर्वहन नहीं, बल्कि रसात्मक भाव-संस्कार है।
४. पाठ से दृश्य-श्रृंखला तक
AI Film Studio की प्रक्रिया सीधे पाठ से वीडियो [Text-to-Video] नहीं होनी चाहिए। यह विधि बहुत स्थूल है। सही क्रम यह होना चाहिए—
पाठ [Text] →
दृश्य-श्रृंखला [Drishya-Series] →
प्रत्येक दृश्य की भाव-संरचना [Bhava-Structure] →
प्रत्येक दृश्य की भाव-संरचना के अवयवों के अनुसार तोड़कर बनी शॉट-श्रृंखला [Shot-Series] →
प्रत्येक शॉट की चित्र-श्रृंखला [Image-Series] और संवाद-श्रृंखला [Dialogue-Series] →
ध्वनि और स्वर [Voice] →
संवाद द्वारा AI-शॉट निर्माण →
चलचित्र-निर्माण [Video Generation] →
सम्पादन [Editing] →
पूर्ण नाट्य [Final Film]
इस क्रम में दृश्य [Drishya] ही मूल इकाई है, शॉट नहीं। शॉट दृश्य से निकलता है; दृश्य शॉटों का जोड़ मात्र नहीं है।
५. दृश्य का आन्तरिक विश्लेषण
किसी भी दृश्य को शॉटों में बाँटने से पहले उसके सम्पूर्ण भाव को समझना आवश्यक है। प्रश्न यह नहीं होना चाहिए कि “इस शॉट में कौन-सा भाव दिखाना है?” सही प्रश्न है—
“इस सम्पूर्ण दृश्य का आन्तरिक स्थायीभाव [Sthayi-Bhava] क्या है, उसका रस-दिशा [Rasa-Direction] क्या है, उसके विभाव [Vibhava], अनुभाव [Anubhava] और संचारीभाव [Sanchari-Bhava] कौन-कौन से हैं, और ये स्वाभाविक रूप से किन शॉटों में व्यक्त होना चाहते हैं?”
दृश्य के लिए निम्न तत्त्वों का निर्धारण होना चाहिए—
दृश्य-संख्या [Drishya ID]
मूल पाठ [Source Text]
इतिहास-सन्दर्भ [Itihasa Reference]
स्थायीभाव [Sthayi-Bhava]
मुख्य रस [Dominant Rasa]
आलम्बन-विभाव [Alambana-Vibhava]
उद्दीपन-विभाव [Uddipana-Vibhava]
अनुभावों की सूची [Anubhava List]
संचारीभावों की क्रमिक गति [Sanchari-Bhava Sequence]
संवाद का भाव-लक्ष्य [Dialogue Intention]
स्वाभाविक शॉट-विभाजन [Natural Shot Decomposition]
यह विश्लेषण बाहरी औपचारिकता नहीं है। यह निर्देशक को दृश्य की आन्तरिक अनिवार्यता देखने में सहायता देता है।
६. शॉट का उद्भव
शॉट [Shot] निर्देशक की मनमानी से नहीं बनना चाहिए। वह दृश्य की आन्तरिक आवश्यकता से निकलना चाहिए। यदि किसी अनुभाव को प्रकट करना आवश्यक है, तो निकट-दृश्य [Close-Up] स्वाभाविक हो सकता है। यदि उद्दीपन-विभाव को दिखाना आवश्यक है, तो व्यापक-दृश्य [Wide Shot] आवश्यक हो सकता है। यदि कोई संचारीभाव क्षणिक है, तो शॉट छोटा हो सकता है। यदि स्थायीभाव का संकेन्द्रण हो रहा है, तो शॉट अधिक स्थिर और दीर्घ हो सकता है।
इस प्रकार शॉट की अवधि [Duration] भी केवल तकनीकी निर्णय नहीं है। वह भाव की आन्तरिक गति से निकलती है।
उदाहरणार्थ—
उद्दीपन-विभाव [Uddipana-Vibhava] के लिए स्थान, प्रकाश, प्रकृति, मौन या वस्तु का शॉट।
आलम्बन-विभाव [Alambana-Vibhava] के लिए पात्र या भाव-वस्तु का शॉट।
अनुभाव [Anubhava] के लिए नेत्र, मुख, अश्रु, हस्त-चेष्टा, स्वर-कम्पन या मौन का शॉट।
संचारीभाव [Sanchari-Bhava] के लिए लज्जा, शंका, भय, स्मृति, विस्मृति या विषाद का क्षणिक शॉट।
रस-सिद्धि [Rasa Realisation] के लिए ऐसा शॉट जिसमें दृश्य का आन्तरिक अर्थ सहृदय में पुनर्जागृत हो।
७. प्रत्येक शॉट की चित्र-श्रृंखला
AI वीडियो-निर्माण में एक शॉट केवल एक prompt नहीं होना चाहिए। प्रत्येक शॉट की अपनी चित्र-श्रृंखला [Image-Series] होनी चाहिए। इसका अर्थ है—
मुख्य सन्दर्भ-चित्र [Reference Image]
आरम्भिक की-फ्रेम [Opening Keyframe]
मध्य भाव-फ्रेम [Middle Bhava Frame]
अन्तिम भाव-फ्रेम [Closing Keyframe]
पात्र की मुद्रा [Pose]
मुखाभिव्यक्ति [Facial Expression]
प्रकाश [Lighting]
वस्त्र [Costume]
स्थान [Location]
कैमरा-दूरी [Camera Distance]
कैमरा-गति [Camera Movement]
शॉट-अवधि [Shot Duration]
इससे AI को केवल “चित्र बनाओ” नहीं कहा जाता, बल्कि यह बताया जाता है कि दृश्य का अव्यक्त भाव किस दृश्य-देह में व्यक्त होना चाहता है।
८. संवाद और स्वर की भूमिका
चलचित्र में संवाद केवल सूचना नहीं देता। संवाद भाव का ध्वनि-शरीर है। इसलिए AI Film Studio में पहले संवादों की भाव-संरचना बननी चाहिए, फिर उन्हें उचित स्वर में ढालना चाहिए।
एक ही कलाकार सभी संवाद पढ़ सकता है। फिर Voice Conversion जैसे RVC, Applio या Seed-VC द्वारा अलग-अलग पात्रों के स्वर बनाए जा सकते हैं। इस प्रक्रिया में लक्ष्य केवल आवाज बदलना नहीं है। लक्ष्य यह है कि प्रत्येक पात्र का स्वर उसके भाव, अवस्था, आयु, संस्कार और दृश्यगत स्थिति के अनुरूप हो।
व्यावहारिक क्रम यह होगा—
दृश्य का भाव-विश्लेषण [Bhava Analysis]
संवाद-लेखन [Dialogue Writing]
एक कलाकार द्वारा मूल ध्वनि-रिकॉर्डिंग [Source Acting Recording]
स्वर-परिवर्तन [Voice Conversion]
पात्रानुसार संवाद-फाइल [Character Dialogue Audio]
शॉटानुसार संवाद-विभाजन [Shot-wise Dialogue Split]
SkyReels या अन्य वीडियो-इंजन में audio-guided generation
इससे वीडियो दृश्य की बाहरी नकल नहीं करेगा, बल्कि संवाद-भाव को दृश्य-रूप देगा।
९. SkyReels और लघु शॉट-निर्माण
लम्बे दृश्य को सीधे AI से बनवाना उचित नहीं है। वास्तविक चलचित्र भी दीर्घ साहित्यिक दृश्य को अनेक शॉटों में विभाजित करता है। PySceneDetect जैसे साधनों से स्पष्ट होता है कि चलचित्रों में अधिकांश दृश्यात्मक इकाइयाँ छोटी होती हैं। यह केवल तकनीकी कारण से नहीं है; भाव, कैमरा, दृष्टि, प्रतिक्रिया और स्थान-परिवर्तन के कारण भी दृश्य शॉटों में खुलता है।
इसलिए SkyReels V3 या किसी भी AI वीडियो-इंजन में छोटे, नियंत्रित शॉट बनाने चाहिए। एक साहित्यिक दृश्य पाँच मिनट का हो सकता है, पर वह ३०, ५० या ७० शॉटों में विभाजित हो सकता है। प्रत्येक शॉट का अपना भाव-कार्य [Rasa Function] होना चाहिए।
SkyReels का कार्य होगा—
सन्दर्भ-चित्रों से पात्र और स्थान पकड़ना [Reference-based Generation]
संवाद-ध्वनि के अनुसार मुख और गति बनाना [Audio-guided Video]
छोटे शॉट बनाना [Short Shot Generation]
असफल शॉटों को पुनः बनाना [Regeneration]
अन्त में सम्पादन द्वारा उन्हें दृश्य में जोड़ना [Editing]
१०. व्यवहारिक डेटा-संरचना
AI Film Studio में प्रत्येक दृश्य और शॉट का व्यवस्थित लेखा रहना चाहिए। उदाहरण के लिए—
दृश्य-सूची [Drishya Table] में—
drishya_id
source_text
itihasa_reference
sthayi_bhava
dominant_rasa
vibhava
anubhava
sanchari_sequence
dialogue_summary
shot_count
qc_status
शॉट-सूची [Shot Table] में—
shot_id
parent_drishya_id
bhava_component
rasa_function
characters
dialogue_audio
voice_model
reference_images
camera_type
duration_sec
prompt_text
output_video
qc_status
edit_position
चित्र-सूची [Image Table] में—
image_id
parent_shot_id
image_role
character_reference
pose_reference
background_reference
lighting_note
emotion_note
file_path
ध्वनि-सूची [Audio Table] में—
audio_id
character_id
source_actor_file
converted_voice_file
dialogue_text
emotion_label
shot_id
duration_sec
ये तालिकाएँ कला का स्रोत नहीं हैं। ये केवल कार्यान्वयन [Implementation] के उपकरण हैं। वास्तविक रूप दृश्य के अव्यक्त भाव से निकलेगा, तालिका से नहीं।
११. सम्पादन : शॉटों से नाट्य तक
सम्पादन [Editing] केवल जोड़ना नहीं है। यह रस-सन्धि [Rasa Sandhi] है। एक शॉट से दूसरे शॉट में जाना तभी उचित है जब भाव की आन्तरिक गति ऐसा चाहती हो। कट [Cut], मौन [Silence], संगीत [Music], प्रतिक्रिया [Reaction], विलम्ब [Pause], और दृष्टि-परिवर्तन [Point of View] सभी रस-निर्माण के अंग हैं।
अन्तिम चलचित्र तब बनेगा जब शॉटों की श्रृंखला केवल दृश्यात्मक क्रम न रहकर भाव-संस्कार की यात्रा बन जाए। दर्शक केवल कथा न समझे; उसके भीतर रस का पुनर्जागरण हो।
१२. निष्कर्ष
AI Film Studio का मूल सिद्धान्त यह है कि अव्यक्त दृष्य को व्यक्त नाट्य में बदलना है। पाठ से सीधे वीडियो बनाना अपर्याप्त है। पहले पाठ को दृश्य-श्रृंखला में, दृश्य को भाव-संरचना में, भाव-संरचना को शॉट-श्रृंखला में, शॉट को चित्र-श्रृंखला और संवाद-ध्वनि में, और अन्ततः इन सबको सम्पादन द्वारा पूर्ण नाट्य में बदलना होगा।
AI इस प्रक्रिया में सहायक है, सर्जक नहीं। वास्तविक सृजन तब होगा जब निर्देशक अहंकार से ऊपर उठकर पात्रों, इतिहास, वर्तमान-सन्धि और भाव-सत्य के साथ तादात्म्य करेगा। तब रूप बाहर से आरोपित नहीं होगा; वह सामग्री से स्वयं उत्पन्न होगा। यही पश्यन्ती का नाट्यीकरण है। यही रस के द्वारा भाव-संस्कार है। और यही AI Film Studio का वास्तविक सिद्धान्त होना चाहिए।
Creation of Voice Models
According to my present AI Film Studio doctrine, VoiceLab must come before Character ImageLab.
Because final SkyReels unit will be:
दृश्य →
शॉट →
संवाद-ध्वनि →
पात्र-स्वर →
audio-guided video →
image/reference consistency
So the practical sequence should be:
1. Voice records collection
2. Voice cleaning and segmentation
3. RVC/Applio .pth + .index trained voice models
4. Voice model QC and catalog
5. Character voice assignment
6. Character images / reference faces / costumes / backgrounds
7. SkyReels V3 shot generation from audio + references
Start with a pilot batch of 5–10 voices, because the real bottleneck will not be GPU power. It will be:
recording quality
speaker consistency
noise
pronunciation
emotion range
model naming
dataset cataloging
QC
duplicate/weak voices
future retrieval
Once the pilot method is proven, then scale to hundreds of Voice Models trained on GPU.
Minimum standard per voice model
For each student/speaker, keep this target:
Minimum usable: 10–15 minutes clean speech
Good model: 30–45 minutes clean speech
Excellent character: 60+ minutes with emotional range
Format: WAV, mono, 44.1kHz or 48kHz
Noise: no fan, no echo, no mobile compression
Content: Hindi/Sanskritized Hindi preferred
Emotion: neutral + anger + grief + affection + command + whisper
RVC/Applio model output should be stored as:
.pth = trained voice model
.index = retrieval index for better similarity
metadata = speaker/character description and training notes
samples = test conversions
Recommended folder structure
The correct workflow is:
01 raw/clean/split recordings
→ 02 prepared datasets
→ 03 training runs
→ 04 final .pth/.index models
→ 05 test conversions
→ 06 QC catalog and approval
This is detailed in following Tree-structure :-
★☆✡ ✤✥✦ ✧✩✪✫✬✭✮✯✰✱✲✳✴✵✶✷✸✹✺✻✼✽✾✿❀❁❂❃❄❅❆❇❈❉❊❋
Use this under your existing VoiceLab (Change drive letter according to your computer's convenience, but drive must be >1TB SSD, I use 4TB SSD for G-drive ):
G:\AI_Film_Studio\VoiceLab\VoiceConversion
═══════════════════════
├── 00_scripts
│ ├── engines
│ │ ├── applio
│ │ ├── rvc
│ │ └── seed-vc
│ ├── utilities
│ ├── batch_train
│ └── batch_convert
│ ═════════════════════
├── 01_source_actor_recordings
│ ├── students_raw
│ ├── students_cleaned
│ ├── students_split
│ ├── rejected_recordings
│ └── consent_notes
│ ═════════════════════
├── 02_voice_datasets
│ ├── voice_0001_male_young_clear
│ │ ├── wavs
│ │ └── metadata.txt
│ ├── voice_0002_male_old_deep
│ │ ├── wavs
│ │ └── metadata.txt
│ ├── voice_0003_female_soft
│ │ ├── wavs
│ │ └── metadata.txt
│ └── voice_0004_child_like
│ ├── wavs
│ └── metadata.txt
│ ═════════════════════
│ ( 03_training_runs is for temporary/working training material: )
├── 03_training_runs
│ ├── rvc
│ │ ├── voice_0001_male_young_clear
│ │ │ ├── logs
│ │ │ ├── extracted_features
│ │ │ └── training_config.json
│ │ └── voice_0002_male_old_deep
│ │ ├── logs
│ │ ├── extracted_features
│ │ └── training_config.json
│ ├── applio
│ └── seedvc_tests
│ ═════════════════════
│ ( 4_models is only for final usable trained models: )
├── 04_models
│ ├── rvc
│ │ ├── voice_0001_male_young_clear
│ │ │ ├── model.pth
│ │ │ ├── added.index
│ │ │ ├── config.json
│ │ │ └── training_log.txt
│ │ └── voice_0002_male_old_deep
│ │ ├── model.pth
│ │ ├── added.index
│ │ ├── config.json
│ │ └── training_log.txt
│ └── seedvc_refs
│ └── voice_0001_male_young_clear
│ ├── reference.wav
│ └── notes.txt
│ ═════════════════════
│( 05_test_conversions is essential because every trained model must convert the same standard test dialogues, otherwise you cannot compare voices fairly. )
├── 05_test_conversions
│ ├── common_test_dialogues
│ ├── rvc_outputs
│ │ ├── voice_0001_male_young_clear
│ │ │ └── qc_samples
│ │ └── voice_0002_male_old_deep
│ │ └── qc_samples
│ └── approved_scene_dialogues
│ ═════════════════════
└── 06_qc_reports
├── voice_model_catalog.xlsx
├── voice_model_catalog.csv
├── best_voices_shortlist
├── rejected_models
└── note
═══════════════════════
★☆✡ ✤✥✦ ✧✩✪✫✬✭✮✯✰✱✲✳✴✵✶✷✸✹✺✻✼✽✾✿❀❁❂❃❄❅❆❇❈❉❊❋
Before training hundreds, create one catalog. Otherwise later you will forget which .pth belongs to which usable character type.
Columns should be:
voice_id
speaker_code
gender/age impression
pitch quality
tone quality
language clarity
noise quality
training_minutes
model_path
index_path
best_for_character_type
weakness
qc_status
consent_status
Since these are students’ voices, keep a clear permission/consent status. Do not train or reuse a person’s voice in future public work unless permission is explicit.
Best production logic
Your film characters should not be based on speaker-names. They should be based on voice archetypes:
old_king_deep
young_hero_clear
village_boy_raw
ascetic_calm
mother_soft
villain_dry
comic_fast
child_bright
Then each trained .pth model can be mapped to many future roles.
Practical next action
The immediate next step should not be SkyReels. It should be this:
Create Voice Model Batch-001:
5 male voices + 5 female voices
clean 15–30 minutes each
train RVC/Applio .pth + .index
convert the same test dialogue through all 10 voices
compare identity, clarity, noise, emotion, and Hindi pronunciation
Only after this pilot succeeds should you start mass-training hundreds of models.
Correct project order
Your next months should follow this order:
Phase 1: Voice library
Phase 2: Character visual library
Phase 3: Dialogue-to-shot SkyReels tests
Phase 4: Full dṛśya made from many audio-driven shots
Phase 5: Long nāṭya assembled from dṛśya-series
This is the correct route. A voice-first library will give your SkyReels shots bhāva before image generation begins.