Equitat i Inclusió
Experiència d'aula
IA per a la inclusió en l’aprenentatge del pensament computacional
La Salle Tarragona Show map
Com pot la intel·ligència artificial ajudar l’alumnat amb necessitats especials en els primers passos per adquirir les habilitats del pensament computacional?
Context
Diverses iniciatives educatives estan dirigides a infants i adolescents amb dificultats visuals, cognitives o motrius, oferint-los oportunitats per desenvolupar el pensament computacional. Una d'aquestes iniciatives és Scratch Jr Tactile, que pot millorar el seu potencial d'aprenentatge amb l'ajuda de la intel·ligència artificial. A través d'aquest projecte s’ha desenvolupat una aplicació per identificar les peces del joc i proporcionar instruccions per veu i text, afavorint la inclusió digital i l'accessibilitat per a tots els alumnes.
Destaquem...
Generalment, l’alumnat adopta el rol d’usuari de tecnologies digitals i aplicacions en el seu procés d’aprenentatge. En aquest cas, els estudiants de batxillerat tecnològic han estat els encarregats de dissenyar una aplicació per adaptar-la a la diversitat de l’alumnat amb discapacitats, ampliant així les seves habilitats en pensament computacional i d’ús de tecnologies digitals, al mateix temps que enfrontaven reptes reals i de compromís social.
El terme inclusió és un dels més importants en referència a l’acollida d’alumnat de diferents perfils en una mateixa aula. No obstant, poques vegades es parla de la inclusió digital on cal adaptar la tecnologia per tal que sigui útil i accessible a tot l’alumnat.
Aquest projecte és ideal perquè l’alumnat utilitzi el pensament crític i aprofiti les habilitats del pensament computacional per desenvolupar l’aplicació. Entre les més importants destaquen l’abstracció i la descomposició, la identificació de patrons, el pensament algorítmic, la depuració d’errors...
Objectius d’aprenentatge
Cooperar i compartir amb els companys i companyes tecnologies digitals i estratègies del pensament computacional
Per donar una resposta conjunta a un problema que afecta a un col·lectiu d’alumnat amb discapacitats.
Estudiar i aplicar diferents tecnologies digitals basades en la intel·ligència artificial
Per entrenar models capaços de donar solucions a una necessitat.
Dissenyar una aplicació amb elements de programació gràfica
Per identificar les peces del Scratch Jr Tactile que utilitza, en el seu procés d'aprenentatge, l’alumnat amb necessitats especials.
Desenvolupament
1
![]()
Activant-nos
Per iniciar el projecte ens fem preguntes. Com ha après a programar l’alumnat de l’escola? Com creuen que ho poden fer alumnes amb discapacitat visual, cognitiva o de motricitat?
Activitat “Ajuda'm a programar”
Per parelles s'intenta resoldre un petit repte de programació ficant-nos en la pell d'un noi o una noia amb ceguesa. Un dels membres de la parella utilitzarà un antifaç per tapar-se els ulls i l'altre company o companya ha de donar les indicacions per resoldre el repte. Es fa servir l'entorn de programació gràfica Scratch. Abans de començar a utilitzar el programa, acordar què ha de fer el personatge principal (mínim de tres accions diferents). Les accions que es facin han de ser de dues famílies de blocs diferents i han de tenir un fons apropiat.
La persona que fa de guia no pot acompanyar les mans de l'altra persona per moure el ratolí ni emprar el teclat. Totes les accions a fer seran transmeses únicament per veu.
Coneixem la iniciativa Scratch Jr Tctile
Explicar com funciona el joc desendollat. Provar de resoldre un repte similar a l’anterior, però aquest cop amb les peces de fusta del joc Scratch Jr Tactile.
Comunicació de l’objectiu principal d’aprenentatge i característiques de l’aplicació a dissenyar
Programari lliure; fàcil d’adaptar o modificar; inclusiu (amb text i veu)
Activitat “Ajuda'm a programar”
Per parelles s'intenta resoldre un petit repte de programació ficant-nos en la pell d'un noi o una noia amb ceguesa. Un dels membres de la parella utilitzarà un antifaç per tapar-se els ulls i l'altre company o companya ha de donar les indicacions per resoldre el repte. Es fa servir l'entorn de programació gràfica Scratch. Abans de començar a utilitzar el programa, acordar què ha de fer el personatge principal (mínim de tres accions diferents). Les accions que es facin han de ser de dues famílies de blocs diferents i han de tenir un fons apropiat.
La persona que fa de guia no pot acompanyar les mans de l'altra persona per moure el ratolí ni emprar el teclat. Totes les accions a fer seran transmeses únicament per veu.
Coneixem la iniciativa Scratch Jr Tctile
Explicar com funciona el joc desendollat. Provar de resoldre un repte similar a l’anterior, però aquest cop amb les peces de fusta del joc Scratch Jr Tactile.
Comunicació de l’objectiu principal d’aprenentatge i característiques de l’aplicació a dissenyar
Programari lliure; fàcil d’adaptar o modificar; inclusiu (amb text i veu)
2
![]()
Dissenyant
1. Fer proves per entendre el funcionament i rendiment de l'aplicació Teachable Machine: el docent ha d’acompanyar l’alumnat per garantir que entén els diferents paràmetres de l’aplicació. A més ha de suggerir, si el mateix alumnat no ho fa, quines peces tenen més problemes i com es podria resoldre (formes, colors, posicions…).
2. Entrenar el model d’intel·ligència artificial amb Teachable Machine: en aquest punt, l’alumnat ha de modificar les peces de fusta del joc per ser identificades fàcilment pel model d’IA. A més, ha de tenir prou imatges mostra de cada peça i en diferents posicions. Cal tenir present que està destinat a alumnat amb problemes visuals, cognitius o motrius i, per tant, s’han de contemplar totes les opcions.
3. Guardar el projecte per si cal recuperar-lo i exportar a TensorFlow.
4. Dissenyar l’aplicació amb Scracth amb suport d’IA. Aplicar les estructures del pensament computacional per tal que el reconeixement de la peça sigui eficient i ràpid. Aquest procés ha de ser consensuat per tots els grups. A més, aquesta identificació ha de ser per text i de veu per ser escoltada en diferents idiomes (cada grup pot treballar un idioma diferent). Per tant, caldrà enregistrar les veus.
5. Corregir possibles errors del disseny
2. Entrenar el model d’intel·ligència artificial amb Teachable Machine: en aquest punt, l’alumnat ha de modificar les peces de fusta del joc per ser identificades fàcilment pel model d’IA. A més, ha de tenir prou imatges mostra de cada peça i en diferents posicions. Cal tenir present que està destinat a alumnat amb problemes visuals, cognitius o motrius i, per tant, s’han de contemplar totes les opcions.
3. Guardar el projecte per si cal recuperar-lo i exportar a TensorFlow.
4. Dissenyar l’aplicació amb Scracth amb suport d’IA. Aplicar les estructures del pensament computacional per tal que el reconeixement de la peça sigui eficient i ràpid. Aquest procés ha de ser consensuat per tots els grups. A més, aquesta identificació ha de ser per text i de veu per ser escoltada en diferents idiomes (cada grup pot treballar un idioma diferent). Per tant, caldrà enregistrar les veus.
5. Corregir possibles errors del disseny
3
![]()
Comprovem que funciona
Finalment, provem el disseny (amb un antifaç) per experimentar en primera persona l’usabilitat i fiabilitat de l’aplicació.
Valoració i conclusions
Èxits
És un projecte obert i compartit. Vam contactar amb el Roger Olivella (un dels creadors de Scratch Jr Tactile) a qui es va demanar permís per crear l’aplicació basada amb IA sobre aquestes eines. En acabar el projecte, li hem facilitat una guia de treball per compartir amb aquelles escoles o institucions que vulguin reproduir la feina feta o, fins i tot, adaptar-la a situacions molt concretes. Scratch Jr Tactile està recolzat per nombroses institucions i organitzacions com ONCE, Scratch Fundation i l’ajuntament de Barcelona entre d’altres.
La motivació de l’alumnat de batxillerat que va participar en el disseny de l’aplicació va ser molt alta en tot moment. Eren conscients que estaven utilitzant el pensament crític i les seves habilitats del pensament computacional per donar servei a una entitat que treballa amb alumnat de necessitats especials.
Tota la proposta didàctica s’ha enfocat tenint presents els objectius de desenvolupament sostenible (ODS) que aconsella treballar el nou currículum educatiu de la LOMLOE. Ha servit d’exemple pràctic que evidencia el compromís amb els ODS (en concret el 4 Educació de qualitat i el 10 Reducció de les desigualtats).
A millorar
Hem utilitzat només les peces d’un joc Scratch Jr Tactile. No obstant, es pot accedir a la web d’aquesta iniciativa i descarregar-se l’arxiu que permet fabricar-les amb una impressora 3D. El projecte es podria haver ampliat amb la fabricació digital de més peces permetent treballar millor amb grups més grans.
Per limitacions de temps no s’han pogut treballar totes les peces del joc Scratch Jr Tactile. Caldria fer una ampliació de l’aplicació i d’ús de la IA per reconèixer les que falten.
Les aplicacions que ha fet l’alumnat on les veus estan en català, castellà i anglès, són aplicacions independents. Amb una mica més de temps, es podria mirar de fer una única aplicació amb un menú inicial on es pugui triar l’idioma. A més, es podria utilitzar veus més familiars o de persones properes per a qui acabarà utilitzant l’aplicació.
Estem planificant una millora que permetrà fer evolucionar el projecte i que servirà d’entrenament per alumnat més experimentat: reconeixement de seqüències de peces i no pas de peces aïllades com en l’aplicació actual.
La valoració del treball amb l’alumnat és molt positiva i com a experiència didàctica s’ha observat que té un gran potencial. Ha servit per conscienciar l’alumnat sobre la importància de saber dissenyar productes i/o aplicacions també accessibles a col·lectius amb necessitats especials.
A més, la proposta ha estat molt ben acollida per institucions i organismes i per la comunitat educativa, que la destaca pel seu valor inclusiu. Ha estat guardonada amb el 2n premi en el concurs del FIET Jove (Fòrum Internacional d'Educació i Tecnologia) que organitza la Universitat Rovira i Virgili.
A més, la proposta ha estat molt ben acollida per institucions i organismes i per la comunitat educativa, que la destaca pel seu valor inclusiu. Ha estat guardonada amb el 2n premi en el concurs del FIET Jove (Fòrum Internacional d'Educació i Tecnologia) que organitza la Universitat Rovira i Virgili.
Porta l'experiència a la teva aula
Tips o consells per adaptarla
1
Començar amb peces semblants
Per entendre bé el funcionament i l’entrenament del model de la IA, s’ha de començar amb peces similars entre elles. Deixar que l’alumnat intenti descobrir els diferents paràmetres que poden ajustar millor el reconeixement.
2
Pensar en els destinataris
Després caldrà recordar que, si es tracta d’una eina que utilitzarà l’alumnat amb diferents discapacitats, és important que es tinguin en consideració totes les opcions. Per exemple, la webcam inverteix la imatge i en el cas de problemes cognitius o motrius on l’alumnat veu perfectament la pantalla, pot ser molt confús.
3
Tenir en compte la rotació de la peça
Tenir present també que la peça la poden deixar rotada (girada diferents graus) sobre la superfície de reconeixement. La deixin com la deixin, el model entrenat ha de permetre reconèixer la peça.
4
Millor utilitzar Scratch
No s’aconsella utilitzar entorns de programació com Python perquè amb la programació per codi resultaria més difícil que una escola o institució que hagi d’utilitzar aquest recurs, el pugui adaptar si no coneix aquest llenguatge. La facilitat de canvis i adaptació a nous requeriments que ofereix Scratch és molt més àmplia i àgil que altres llenguatges que requereixen més experiència.
5
Aprofitar les orientacions de la guia
S’ha publicat una guia de desenvolupament per si qualsevol escola o institució vol reproduir aquest projecte. A la guia es poden veure totes les dificultats que comporta aquest projecte i les seves solucions.
Materials i recursos
Web Scratch Jr Tactile
Publicació a la web de l’escola
Noticia a les xarxes pel 2n premi al FIET (Fòrum Internacional d’Educació i Tecnologia URV)
Autor
