Què és el Big Data (i què no és)
El Big Data no vol dir "un Excel molt gran". Vol dir treballar amb conjunts de dades tan enormes, tan veloços o tan variats que ja no caben en un ordinador normal ni en un full de càlcul, i que necessiten tècniques i màquines especials per emmagatzemar-los i treure'n valor.
La paraula clau és valor. Acumular dades no serveix de res per si mateix; l'objectiu és convertir aquestes dades en decisions: quin producte recomanar, quina ruta és més ràpida, quina zona d'una ciutat necessitarà més ambulàncies demà.
El marc més citat per definir-lo són les tres V, que l'analista Doug Laney va descriure el 2001. Pots veure una explicació de les tres V a TechTarget. És la manera estàndard de saber si un problema és realment "de Big Data" o simplement de tenir bastantes dades.
Les tres V (i una quarta) que el defineixen
Un problema és de Big Data quan creix en alguna d'aquestes dimensions fins a un punt que les eines tradicionals no aguanten. No cal que creixin totes tres alhora: amb una que es dispari, ja ets en territori Big Data. Perquè te'n facis una idea de l'escala, un petabyte equival a un milió de gigabytes: aquí ja no hi arriba un ordinador de casa.
| Dimensió | Què mesura | Exemple quotidià |
|---|---|---|
| Volum | La quantitat de dades (de gigues a petabytes) | Totes les fotos que es pugen a una xarxa social cada minut |
| Velocitat | A quin ritme arriben i amb quina rapidesa cal processar-les | Els pagaments amb targeta que es validen en segons |
| Varietat | Els formats diferents: text, vídeo, ubicació, sensors | Un mateix usuari genera clics, missatges, àudios i localització |
| Veracitat | Fins a quin punt et pots refiar de la dada (la "quarta V" que va afegir IBM) | Ressenyes falses o sensors que donen lectures errònies |
La quarta V, la veracitat, és la que més s'oblida i la que més problemes dona: si les dades d'entrada estan esbiaixades o són falses, la conclusió també ho estarà, per moltes que en tinguis.
Un exemple concret: com fa servir el Big Data una app que ja utilitzes
Pensa en una plataforma de vídeo sota demanda. Quan prems el play, no veus només una pel·lícula: estàs generant dades. Cada segon l'app registra què veus, quan pauses, què et saltes, a quina hora, des de quin dispositiu i en quina zona.
Multiplica això per centenars de milions d'usuaris alhora i tens les tres V juntes: volum (milers de milions d'esdeveniments al dia), velocitat (arriben en temps real) i varietat (clics, temps, valoracions, text de cerca).
Què fa la plataforma amb això? Busca patrons. Si detecta que la gent que mira la sèrie A sol acabar mirant la sèrie B, comença a recomanar B als espectadors d'A. Aquesta recomanació no la decideix una persona mirant dades una a una: seria impossible. La decideix un model que ha "après" de milions de comportaments anteriors. Aquest salt —de les dades brutes a una recomanació útil— és exactament per al que existeix el Big Data.
De les dades a les decisions: com funciona per dins
Encara que soni a màgia, el recorregut d'un projecte de Big Data segueix sempre les mateixes fases. Veure-les en ordre ajuda a entendre on encaixa cada tecnologia de les que sents anomenar.
- Captura. Es recullen les dades de les seves fonts: apps, sensors, webs, transaccions.
- Emmagatzematge. Com que no caben en un sol disc, es guarden repartides en molts ordinadors alhora (emmagatzematge distribuït, "al núvol").
- Processament. Es netegen i s'ordenen: es treuen duplicats, errors i dades incompletes. Sense aquest pas, la veracitat se'n va en orris.
- Anàlisi. Es busquen patrons, moltes vegades amb intel·ligència artificial i models estadístics.
- Visualització i decisió. El resultat es resumeix en gràfics i taulers perquè una persona (o un sistema automàtic) decideixi.
Fixa't que la IA apareix només al pas 4. El Big Data és el combustible; la intel·ligència artificial és un dels motors que l'aprofiten. No són el mateix, tot i que gairebé sempre viatgin junts.
Errors comuns en entendre el Big Data
Aquests són els errors que més vegades apareixen quan algú comença amb el tema, i que convé tenir clars per no repetir-los en un examen o en una entrevista:
- Confondre "moltes dades" amb Big Data. Un arxiu pesat no és Big Data si el teu ordinador l'obre sense problemes. El que el defineix és que desborda les eines normals.
- Creure que més dades són sempre millors. Si les dades estan esbiaixades, més quantitat només amplifica l'error. La qualitat (veracitat) pesa tant com el volum.
- Pensar que Big Data i intel·ligència artificial són sinònims. El Big Data és la matèria primera; la IA és una de les tècniques per analitzar-la.
- Oblidar la privacitat. Darrere de cada dada hi ha persones, i a Europa el seu ús està regulat. Un bon projecte respecta aquesta part des del disseny.
Què estudiar si t'interessa el Big Data
L'anàlisi de dades és un dels camps amb més demanda laboral ara mateix, i el bo és que s'hi pot arribar per diversos camins. Perfils típics: analista de dades (interpreta i comunica), enginyer/a de dades (munta les canonades que mouen la informació) i científic/a de dades (construeix els models que prediuen).
Si ets a Batxillerat i t'atrau, aquestes són les bases que més et serviran:
- Matemàtiques i Estadística: són l'idioma en què es parla de dades. Probabilitat i funcions apareixen tota l'estona.
- Programació: llenguatges com Python o SQL són l'eina de treball diària del sector.
- Anglès: gairebé tota la documentació i les eines són en anglès.
Després pots anar per un grau universitari (Ciència de Dades, Enginyeria Informàtica, Matemàtiques, Estadística) o per un cicle d'FP superior de la família d'Informàtica (dos cursos, unes 2.000 hores), que dona una entrada molt pràctica i ràpida al mercat.
Quan val la pena una classe particular per a assignatures tècniques
Amb el Big Data passa com amb gairebé tot el que és tècnic: el problema poques vegades és "no valer-hi", sinó tenir un buit a la base. Qui s'encalla en estadística o en programació no sol fallar en el que és nou, sinó en alguna cosa de dos cursos enrere que mai va acabar de tancar. I aquest buit, si no es tapa, es fa més gran sol: cada tema nou es recolza en l'anterior.
Per això, quan decideixes reforçar una assignatura tècnica, el que més rendeix és la continuïtat: el pla anual d'Eurekademy et manté el mateix professor/a particular i el mateix ritme de setembre a juny, de manera que les llacunes es tanquen abans de convertir-se en un mur. És sense permanència, a terminis sense interessos i amb descompte per pagament avançat, perquè la decisió del curs no depengui d'un mes solt. Pots veure com ho enfoquem a les nostres classes d'intel·ligència artificial i dades.
I si prefereixes provar abans de comprometre't amb el curs, la primera classe amb 50% de descompte és justament per a això: serveix per veure si el professor/a encaixa amb tu, sense pensar encara en res més. Si funciona, continues; si no, no passa res.
Preguntes freqüents
Big Data i intel·ligència artificial són el mateix?
No. El Big Data és la enorme quantitat de dades i les tècniques per emmagatzemar-les i processar-les. La intel·ligència artificial és un dels mètodes que es fan servir per analitzar aquestes dades i trobar patrons. Van molt units —la IA necessita dades per aprendre—, però són conceptes diferents: un és la matèria primera i l'altre, el motor.
Cal ser un geni de les matemàtiques per treballar amb dades?
No cal ser un geni, però sí endur-te bé amb les matemàtiques i l'estadística, perquè són la base de l'anàlisi. L'important és entendre els conceptes (probabilitat, mitjanes, correlació) més que calcular a mà. Amb una base sòlida de Batxillerat i ganes de practicar programació, tens per on començar perfectament.
Es pot arribar al Big Data des de l'FP i no només des de la universitat?
Sí. Els cicles d'FP de grau superior d'Informàtica formen perfils molt demanats i amb una sortida al mercat ràpida i pràctica. Molts professionals de dades hi van començar. A més, des d'un grau superior pots continuar després a la universitat si vols especialitzar-te més en ciència de dades o intel·ligència artificial.