फास्ट डेटा माइग्रेशन वाले प्
परिचय
प्लेटफॉर्म को बदलते या अपडेट करते समय जानकारी को स्थानांतरित करना एक महत्वपूर्ण कार्य है: शेष राशि, दांव का इतिहास, बोनस, केवाईसी डेटा और अभियान सेटिंग्स को खो या विकृत नहीं किया जा सकता है। आधुनिक समाधान स्वचालित ईटीएल पाइपलाइन और चेंज डेटा कैप्चर (सीडीसी) का उपयोग बिना व्यापार डाउनटाइम के घंटों या मिनटों में माइग्रेशन को पूरा करने के लिए करते हैं।
1. पलायन का वर्गीकरण
1. ठंडा प्रवास
पूर्ण निर्यात-आयात, प्लेटफ़ॉर्म बंद करने की आवश
कम गतिविधि या नियोजित रखरखाव विंडो के लिए उपयुक्त।
2. गर्म प्रवास
समानांतर chạy ETL + CDC प्रतिकृति, सेकंड में कट-ओवर।
राउंड-द-क्लॉक ट्रैफिक के साथ बड़े ऑपरेटरों के लिए उपयुक्त
2. ईटीएल और सीडीसी वास्तुकला
"'मत्स्यांगना
फ्लोचार्ट एलआर
सबग्राफ स्रोत
DB1 [(पुराना DB)]
स्ट्रीम 1 [(पुराना डीबी सीडीसी)]
अंत
सबग्राफ कन्वेयर
ईटीएल [ईटीएल जॉब]
सीडीसी [सीडीसी उपभोक्ता]
वेलिडेटर [डाटा वैलिडेटर]
अंत
सबग्राफ उद्देश्य
DB2 [(नया DB)]
अंत
- ETL -> वेलिडेटर -> DB2
- -टाइम सीडीसी -> वैध -> डीबी 2
```
ईटीएल जॉब: एक बार रात में या एक शेड्यूल पर, टेबल का एक पूरा डंप पढ़ ता है, प्रारूप बदलता है और एक नई योजना में लोड करता है।
CDC उपभोक्ता: WAL लॉग (Debezium/MySQL Binlog), INSERT/UPDATE/DELETE को निकट-वास्तविक समय मोड में सुनता है।
Validator: बेस लोड के बाद और स्ट्रीमिंग प्रतिकृति के दौरान रिकॉर्ड के चेकसम और काउंटरों को सत्यापित करता है।
3. प्रवासन चरण
1. विश्लेषण और मानचित्रण (1-2 दिन)
पुराने और नए डेटाबेस की योजनाओं की तुलना, क्षेत्र पत्राचार का निर्धारण (उदाहरण के लिए, 'प्लेयर _ बैलेंस' → 'बटुआ। real_balance')।
प्रकार रूपांतरण की परिभाषा: पंक्तियाँ → JSON, टाइमस्टैम्प, ENUM → संदर्भ तालिकाएँ।
2. परीक्षण पर्यावरण की तैयारी (1-2 दिन)
उत्पादन डेटा के एक स्वैच्छिक स्नैपशॉट के साथ एक मंचन क्लस्टर की तैनाती।
परीक्षण डेटा पर ईटीएल और सीडीसी कनेक्टर कॉन्फ़िगर करें।
3. "कोल्ड लोड" (2-4 घंटे)
लक्ष्य DB के लिए स्रोत DB → समानांतर आयात से पूर्ण डंप निर्यात।
बूट समय पर गैर-डुप्लिकेटेड प्रक्रियाओं (उदाहरण के लिए, एक बोनस इंजन) को अक्षम करना।
4. सीडीसी प्रतिकृति प्रारंभ करें (सतत)
जब ईटीएल लोडिंग प्रारंभ हुआ तब से परिवर्तनों के लिए सुनना प्रारंभ क
कट-ओवर तैयार होने तक संचालन की "पूंछ" का संचय।
5. कट-ओवर और ट्रैफिक स्विचिंग (1-5 मिनट)
सीडीसी पूंछ के शेष को संरेखित करने के लिए अस्थायी रूप से अनुप्रयोगों को रोकना।
नए डाटाबेस में कनेक्शन स्ट्रिंग को फिर से कॉन्फ़िगर करना।
मूल लिपियों के धुएं के परीक्षण (लॉगिन, जमा, स्पिन, भीतर)।
6. सत्यापन और रोलबैक (1-2 घंटे)
मुख्य तालिकाओं - उपयोगकर्ताओं, शेष, लेनदेन इतिहास के लिए चेकसम जांच।
यदि महत्वपूर्ण बेमेल - स्नैपशॉट में स्वचालित रोलबैक।
4. परीक्षण और सत्यापन
पंक्ति गणना और चेकसम: तालिकाओं द्वारा रिकॉर्ड और हैश की संख्या की तुलना।
डोमेन परीक्षण: नमूना परिदृश्य - सट्टेबाजी, बोनस और वापसी संचालन।
एंड-टू-एंड परीक्षण: स्वचालित सरू/नाटककार स्क्रिप्ट प्रवास के बाद मंचन में कुंजी प्रवाह चलाते हैं।
5. डाउनटाइम को कम करना
ब्लू-ग्रीन डेटाबेस
समानांतर डाटाबेस उदाहरण...
प्रॉक्सी-लेवल कट-ओवर
आने वाली कनेक्शन कतार के साथ एक चिकनी स्विचओवर के लिए एक प्रॉक्सी (Pgbouncer) का उपयोग करना।
फ़ीचर फ्लैग्स
प्रवास के दौरान कार्यक्षमता का हिस्सा अक्षम करना, ताकि सभी सेवाओं को पूरी तरह से अवरुद्ध न किया जा सके।
6. उपकरण और प्लेटफार्म
Debezium + Kafka для CDC с MySQL/PostgreSQL।
ETL पाइपलाइनों के लिए Airbyte, Fivetran, Talend।
स्कीमा माइग्रेशन और डेटाबेस वर्शनिंग के लिए फ्लाईवे/लिक्विबेस।
सुरक्षित भंडारण साख और रोटेशन के लिए HashiCorp वॉल्ट।
निष्कर्ष
फास्ट डेटा माइग्रेशन के लिए समर्थन वाले प्लेटफॉर्म ईटीएल लोडिंग और सीडीसी प्रतिकृति, कठोर परीक्षण और सत्यापन जांच के संयोजन के आसपास एक प्रक्रिया का निर्माण करते हैं। एक सक्षम वास्तुकला और स्वचालन के साथ, डाउनटाइम कुछ मिनटों तक कम हो जाता है, और डेटा हानि या बेमेल होने का जोखिम शून्य होता है।
प्लेटफॉर्म को बदलते या अपडेट करते समय जानकारी को स्थानांतरित करना एक महत्वपूर्ण कार्य है: शेष राशि, दांव का इतिहास, बोनस, केवाईसी डेटा और अभियान सेटिंग्स को खो या विकृत नहीं किया जा सकता है। आधुनिक समाधान स्वचालित ईटीएल पाइपलाइन और चेंज डेटा कैप्चर (सीडीसी) का उपयोग बिना व्यापार डाउनटाइम के घंटों या मिनटों में माइग्रेशन को पूरा करने के लिए करते हैं।
1. पलायन का वर्गीकरण
1. ठंडा प्रवास
पूर्ण निर्यात-आयात, प्लेटफ़ॉर्म बंद करने की आवश
कम गतिविधि या नियोजित रखरखाव विंडो के लिए उपयुक्त।
2. गर्म प्रवास
समानांतर chạy ETL + CDC प्रतिकृति, सेकंड में कट-ओवर।
राउंड-द-क्लॉक ट्रैफिक के साथ बड़े ऑपरेटरों के लिए उपयुक्त
2. ईटीएल और सीडीसी वास्तुकला
"'मत्स्यांगना
फ्लोचार्ट एलआर
सबग्राफ स्रोत
DB1 [(पुराना DB)]
स्ट्रीम 1 [(पुराना डीबी सीडीसी)]
अंत
सबग्राफ कन्वेयर
ईटीएल [ईटीएल जॉब]
सीडीसी [सीडीसी उपभोक्ता]
वेलिडेटर [डाटा वैलिडेटर]
अंत
सबग्राफ उद्देश्य
DB2 [(नया DB)]
अंत
- ETL -> वेलिडेटर -> DB2
- -टाइम सीडीसी -> वैध -> डीबी 2
```
ईटीएल जॉब: एक बार रात में या एक शेड्यूल पर, टेबल का एक पूरा डंप पढ़ ता है, प्रारूप बदलता है और एक नई योजना में लोड करता है।
CDC उपभोक्ता: WAL लॉग (Debezium/MySQL Binlog), INSERT/UPDATE/DELETE को निकट-वास्तविक समय मोड में सुनता है।
Validator: बेस लोड के बाद और स्ट्रीमिंग प्रतिकृति के दौरान रिकॉर्ड के चेकसम और काउंटरों को सत्यापित करता है।
3. प्रवासन चरण
1. विश्लेषण और मानचित्रण (1-2 दिन)
पुराने और नए डेटाबेस की योजनाओं की तुलना, क्षेत्र पत्राचार का निर्धारण (उदाहरण के लिए, 'प्लेयर _ बैलेंस' → 'बटुआ। real_balance')।
प्रकार रूपांतरण की परिभाषा: पंक्तियाँ → JSON, टाइमस्टैम्प, ENUM → संदर्भ तालिकाएँ।
2. परीक्षण पर्यावरण की तैयारी (1-2 दिन)
उत्पादन डेटा के एक स्वैच्छिक स्नैपशॉट के साथ एक मंचन क्लस्टर की तैनाती।
परीक्षण डेटा पर ईटीएल और सीडीसी कनेक्टर कॉन्फ़िगर करें।
3. "कोल्ड लोड" (2-4 घंटे)
लक्ष्य DB के लिए स्रोत DB → समानांतर आयात से पूर्ण डंप निर्यात।
बूट समय पर गैर-डुप्लिकेटेड प्रक्रियाओं (उदाहरण के लिए, एक बोनस इंजन) को अक्षम करना।
4. सीडीसी प्रतिकृति प्रारंभ करें (सतत)
जब ईटीएल लोडिंग प्रारंभ हुआ तब से परिवर्तनों के लिए सुनना प्रारंभ क
कट-ओवर तैयार होने तक संचालन की "पूंछ" का संचय।
5. कट-ओवर और ट्रैफिक स्विचिंग (1-5 मिनट)
सीडीसी पूंछ के शेष को संरेखित करने के लिए अस्थायी रूप से अनुप्रयोगों को रोकना।
नए डाटाबेस में कनेक्शन स्ट्रिंग को फिर से कॉन्फ़िगर करना।
मूल लिपियों के धुएं के परीक्षण (लॉगिन, जमा, स्पिन, भीतर)।
6. सत्यापन और रोलबैक (1-2 घंटे)
मुख्य तालिकाओं - उपयोगकर्ताओं, शेष, लेनदेन इतिहास के लिए चेकसम जांच।
यदि महत्वपूर्ण बेमेल - स्नैपशॉट में स्वचालित रोलबैक।
4. परीक्षण और सत्यापन
पंक्ति गणना और चेकसम: तालिकाओं द्वारा रिकॉर्ड और हैश की संख्या की तुलना।
डोमेन परीक्षण: नमूना परिदृश्य - सट्टेबाजी, बोनस और वापसी संचालन।
एंड-टू-एंड परीक्षण: स्वचालित सरू/नाटककार स्क्रिप्ट प्रवास के बाद मंचन में कुंजी प्रवाह चलाते हैं।
5. डाउनटाइम को कम करना
ब्लू-ग्रीन डेटाबेस
समानांतर डाटाबेस उदाहरण...
प्रॉक्सी-लेवल कट-ओवर
आने वाली कनेक्शन कतार के साथ एक चिकनी स्विचओवर के लिए एक प्रॉक्सी (Pgbouncer) का उपयोग करना।
फ़ीचर फ्लैग्स
प्रवास के दौरान कार्यक्षमता का हिस्सा अक्षम करना, ताकि सभी सेवाओं को पूरी तरह से अवरुद्ध न किया जा सके।
6. उपकरण और प्लेटफार्म
Debezium + Kafka для CDC с MySQL/PostgreSQL।
ETL पाइपलाइनों के लिए Airbyte, Fivetran, Talend।
स्कीमा माइग्रेशन और डेटाबेस वर्शनिंग के लिए फ्लाईवे/लिक्विबेस।
सुरक्षित भंडारण साख और रोटेशन के लिए HashiCorp वॉल्ट।
निष्कर्ष
फास्ट डेटा माइग्रेशन के लिए समर्थन वाले प्लेटफॉर्म ईटीएल लोडिंग और सीडीसी प्रतिकृति, कठोर परीक्षण और सत्यापन जांच के संयोजन के आसपास एक प्रक्रिया का निर्माण करते हैं। एक सक्षम वास्तुकला और स्वचालन के साथ, डाउनटाइम कुछ मिनटों तक कम हो जाता है, और डेटा हानि या बेमेल होने का जोखिम शून्य होता है।
