Saturday, 11 February 2017

Big Data (பெரிய தரவு) பற்றி தெரிந்து கொள்வோம்

இன்டர்நெட் வேகமாக பரவியிருக்கும் இந்த காலகட்டத்தில் டேட்டா என்ற சொல் சூப்பர் ஸ்டார் அளவிற்கு பிரபலமடைந்துள்ளது. இந்த டேட்டா என்றால் என்ன என்பதை முதலில் பார்ப்போம். இன்டெர்நெட்டில் நாம் ஷாப்பிங் செய்யும்போது தேர்ந்துஎடுக்கும் பொருள்களின் விவரங்கள் டேட்டாவாக வர்த்தக நிறுவனங்களின் தகவல் மையத்தில் (database) சேமிக்கப்படும். தனிப்பட்ட முறையில் ஒரேயொரு பரிவர்த்தனையை(transaction) பார்க்கும்போது இந்த டேட்டாவின் அளவு மிகவும் குறைந்ததே (ஒரு சில kb மட்டுமே). ஆனால், இதுபோல் உலகில் உள்ள பல கோடி பேர் ஒரு குறிப்பிட்ட இணையத்தளத்தில் ஷாப்பிங் செய்யும்போது, சேகரிக்கும் டேட்டாவின் அளவு அபரிதமாகிறது. சிறு துளி பெருவெள்ளம் என்பதுபோல் கோடிக்கணக்கான டேட்டா  ஒன்றுகூடி பெருவெள்ளம் அல்ல; பெருங்கடலென உருவெடுத்து  Big Data- வாகிறது. இது பெரிய தரவு என்று தமிழில் வழங்கப்படுகிறது. ஒரு நாளைக்கு சில முக்கியமான இணையத்தளத்தில் எவ்வளவு டேட்டா உருவாகிறது என்று பார்ப்போம்.

Twitter - சுமார் 50 கோடி டீவீட்ஸ்.
Youtube - 40 லட்சம் மணிநேர வீடியோ (இது சுமார் 16 லட்சம் படத்திற்கு சமம்)
Facebook - 430 கோடி போஸ்ட், 575 கோடி லைக்ஸ்.
Google search - 600 கோடி

இந்த டேட்டா பெருங்கடலை வைத்துக்கொண்டு என்ன செய்வது? புராண காலத்தில் பாற்கடலை தேவர்கள் மேரு மலையை மத்தாக கொண்டு கடைந்து அமுதம் பெற்றனர். அதுபோல், இன்றைய தொழில் நிறுவனங்கள் இந்த டேட்டா பெருங்கடலை BIG DATA ANALYTICS என்ற நவீன தொழில்நுட்பத்தை மத்தாக கடைந்து அமுதம் பெறுகின்றனர். அமுதம் என்பது இங்கு குறிக்கிறது என்று பார்ப்போம்.

வாடிக்கையாளர் ஈடுபாடு (Customer Engagement) - பல்வேறு வாடிக்கையாளர்கள் வாங்கும் வழிமுறைகளையும் விருப்பங்களையும் தீர ஆராய்ந்து, விருப்பத்திற்கு ஏற்றாற்போல் சிபாரிசு செய்யப்படுகிறது. உதாரணமாக, அமேசான் இணையத்தளத்தில் பொருளை தேடும்போது நம் குறிப்பறிந்து நமக்கு ஏற்ற பொருள் வகைகளை சிபாரிசு செய்யும். அதுமட்டுமில்லாமல், ஒரு பொருளை வாங்கியபின் அதனோடு தொடர்புடைய மற்ற பொருள்களும் காண்பிக்கப்படுகிறது. இதில் தோன்றுவது பெரும்பாலும் சரியாக இருப்பது மிகவும் ஆச்சர்யம் தான்! இதனால் ஓவ்வொரு வாடிக்கையாளரும் ஒரு தனிப்பட்ட அனுபவத்தை (Personalisation) பெறமுடிகிறது; நிறுவனத்தின் லாபமும் உயருகிறது.
Source - Amazon India


வாடிக்கையாளர் உணர்வு ஆய்வு (Sentiment Analysis) - இன்று facebook, twitter, google plus, whatsapp போன்ற சமூக ஊடகங்களை பார்த்தால் அன்றைய காலகட்டத்திற்கு ஏற்ப பிடிக்காதவற்றை  வசை பாடுவதும், பிடித்தவற்றை புகழாரம் பாடுவதும் வாடிக்கையாகிவிட்டது. எனவே, இதுபோன்ற சமூக ஊடகங்களை ஆராய்ந்து சமூகத்தின் விருப்பத்திற்கேற்ப தங்களுடைய பொருள்கள் அல்லது சேவை தரத்தை உயர்த்திக்கொள்ள நிறுவனங்களுக்கு நல்ல வாய்ப்பு அமைகிறது.
Source - skyttle.com


மோசடி தடுப்பு (Fraud Detection) - இன்சூரன்ஸ் மற்றும் நிதி நிறுவனங்களில் வழக்கமாக நடுக்கும் பரிவர்த்தனைகளிலிருந்து மாறாக தோன்றும் பரிவர்த்தனைகளை கோடிட்டு காண்பித்து, மோசடி நடப்பதை குறைக்க உதவுகிறது.

வியாபார செலவு குறைப்பு (Cost reduction). - மேற்கூறிய நன்மைகளால் ஒட்டுமொத்த வியாபாரத்திற்கான செலவு மிச்சமாகிறது.

Big Data தொழில்நுட்பங்கள்

1. Prescriptive Analytics - ஒரு குறிப்பிட்ட டேட்டா சூழ்நிலையில் என்ன நடக்கலாம் என்பதை அறிவது

2. NoSQL databases - பொதுவாக RDBMS என்னும் database தொழில்நுட்பத்திற்க்கு பதிலாக NOSQL database அதிக அளவு டேட்டாவை கையாள உதவும்.

3. Stream analytics - நேரிடையான ஆய்வுக்கு பயன்படும் தொழில்நுட்பம்

4. In-memory data fabric - பெருமளவு டேட்டாவை மெமரியில் வைத்து கையாள உதவும்.

5. Distributed file store - ஒரே இடத்தில டேட்டாவை  சேமிக்காமல் பல இடத்தில பிரித்து கையாளுவது.

6. Data Virtualization and Integration - பல்வேறு source டேட்டாவை இணைத்து மெய்நிகராக (virtualization) செய்ய உதவுகிறது

7. Data preparation and Quality

இதுபோன்ற பயன்களால் BigData பற்றி அறிந்த IT பொறியாளர்களுக்கு நல்ல வாய்ப்புகள் காத்திருக்கிறது. இந்த தொழில்நுட்பம் மேலும் வளர்ந்து நம்மை வியப்பில் ஆழ்த்தும் என்று நம்புகிறேன்!










1 comment:

  1. Very good article. Explained big data in a simple and interesting way.

    ReplyDelete