comparative judgement, parte 2

30 Apr 2019 / Leonardo Barichello

Uma das maneiras de utilizar o método comparative judgement (leia mais sobre no primeiro post da série) é usando o site www.nomoremarking.com. Apesar de oferecer serviços pagos, o site pode ser utilizado gratuitamente por professores, pesquisadores ou interessados em geral no uso de comparative judgement. Além de oferecer um FAQ bem útil e uma boa interface com as principais informações para realizar a análise dos dados, o site permite a exportação de todos os dados para formatos amigáveis e os algoritmos por trás estão disponíveis publicamente como pacotes do R ou explicados no blog de um dos responsáveis.

Depois de fazer o cadastro, uma leitura no support da página explica como proceder, mas os passos principais são:

  1. Criar os textos de introdução e apresentação da sua task (isso será mostrado para os juízes a quem você enviar o link)
  2. Fazer o upload (no menu Candidates) dos candidatos (os itens que serão comparados)
  3. No menu Judges, definir quantas comparações cada juiz deve fazer (tenha em mente que eles sugerem que o total de comparações deve ser igual a 10 vezes o número de candidatos e que pode ocorrer de algum juiz ser excluídos por baixa concordância com o resultado do grupo)
  4. Enviar o link para os juízes
  5. Acompanhar os resultados (dos juízes e dos candidatos) a medida que as respostas foram entrando no sistema (é necesśario clicar no botão Refresh no menu Setting)

A recomendação deles é de que qualquer juiz com infit (uma medida de desvio acumulado em relaçãoàs decisões do grupo) superior a 1.3 seja excluído e que candidatos com infit superior a 1.3 seja tratados de forma separada.

Uma outra funcionalidade permitida pelo site é usar a ordenação para gerar algo mais próximo d qe seria uma nota. Para isso, você precisa definir candidatos que serão usados como referência para essa atribuição de nota. Algo como "esse cara é um 5", "esse cara é um 6" e assim por diante. Com isso feito para várias notas diferentes, o sistema calcula qual seria a not de cada um dos candidatos. Infelizmente não posso entrar em mais detalhes porque não usei esse funcionalidade.

O funcionamento geral do algoritmo segue o que é discutido em [1]. Um detalhe interessante é que o sistema usado no site não faz o pareamento de candidatos de forma aleatória, mas tenta levar em conta as comparações que podem ser mais útil. Basicamente, depois de um tanto de comparações, não adianta muito comparar o líder com o último colocado, pois este vai muito provável perder denovo, mas é mais útil comparar o sétimo com o oitavo, que estão pertinho e podem eventualmente trocar de posições. Por conta disso não é necesśario fazer absolutamente todas as comparações possíveis.

No próximo post explico o uso que fiz do julgamento comparado para validar uma parte do meu instrumento de coleta de dados da minha pesquisa de pós-doutorado.

Referências

[1] POLLITT, A. The method of Adaptive Comparative Judgement. Assessment in Education: Principles, Policy & Practice, v. 19, n. 3, p. 281–300, ago. 2012.

comparative judgement, parte 1

29 Apr 2019 / Leonardo Barichello

Imagine que você quer ordenar por peso alguns sacos de areia sem ter uma balança disponível. Você pode levantar cada um deles e estimar o seu peso ou pode comprar 2 a 2 e ir ordenando localmente até que o todo esteja ordenado. Essa segunda estratégia resume bem a técnica chamada de comparative judgement, ou julgamento comparado.

A premissa fundamental do julgamento comparado é a de que serem humanos, em muitas situações, são melhores em comparar duas entidades uma em relação à outra do que fazer julgamentos absolutos, atribuindo algo como uma nota, especialmente quando o critério em vista não pode ser colocado de forma objetiva ou precisa.

Isso vem sendo aplicado academicamente, em diversos contextos, desde a década de 1920. Especificamente em Educação Matemática, um grupo de pesquisadores britânicos exploraram recentemente o uso dessa técnica para avaliar questões de natureza mais conceitual, uma vez que estas costumam ter uma formulação mais aberta, o que dificuldade a correção com base em conjunto de orientações. A ideia é a seguinte:

  • Uma questão conceitual (como, por exemplo, "Explique o que são frações equivalentes como se fosse para alguém que nunca estudou esse assunto") é proposta para um grupo de estudantes, que a respondem de maneira bastante livre
  • As respostas (chamadas de candidatos) são arquivadas e apresentadas duas a duas para um juiz (alguém que tenha conhecimento sobre o assunto como, nesse caso, um professor) que deve dizer apenas qual delas é melhor (fazer um julgamento, saundo a nomenclature técnica)
  • Depois de realizadas várias comparações, um algoritmo é capaz de ordenar todas as respostas atribuindo um valor de 0 a 100 no qual 100 é a melhor respostas e 0 a pior.

Em [1] você encontra três exemplos similares a este discutidos em profundidade.

Alguns pontos precisam ser esclarecidos:

  • O algoritmo consegue lidar com julgamentos diferentes usanod um modelo probabilístico discutido em [2]
  • Por conta do item anterior, cada julgamento pode precisar ser feito mais do que uma vez. Porém, com cerca de 10 vezes o número de candidatos, a escala estabiliza. Isso significa que se tivermos 30 respostas, são necessários 300 julgamentos (enquanto que o total de julgamentos diferentes possíveis seria da ordem de 450)
  • É possível medir a consistência de cada juiz em relação ao grupo (basicamente, o quanto os julgamentos desse juiz são iguais ao que o grupo como um todo decidiu) e o erro da valor atribuído a cada questão (basicamente, o quanto os vários juízes divergiram nos julgamentos que envolveram uma determinada questão)

Os aspectos técnicos sobre o funcionamento da técnica podem ser lidos em [2], mas algumas características interessantes e sistematicamente reportadas na literatura acadêmica são:

  • Um expert realiza uma comparação muito mais rapidamente do que uma avaliação absoluta quando o critério não admite formulação bem objetiva, portanto, julgamento comparado é econômico nessas situações
  • Juízes diferentes apresentam um bom grau de concordância ao fazerem julgamentos comparados, bastando que seja expert no assunto sendo julgado
  • No âmbito da Educação Matemática especificamente, os valores atribuídos pelo algoritmo se correlacionam bem com outras medidas de caráter conceitual

A técnica me chamou a atenção em um evento na Inglaterra e decidi utilizá-la para validar uma parte do instrumento que vou usar na minha pesquisa de pós-doutorado, mas isso fica para o próximo post.

O segundo post dessa série já pode ser lido em barichello.coffee/blog/comparative-judgement-2.

Referências

[1] BISSON, M.-J. et al. Measuring Conceptual Understanding Using Comparative Judgement. International Journal of Research in Undergraduate Mathematics Education, v. 2, n. 2, p. 141–164, jul. 2016.

[2] POLLITT, A. The method of Adaptive Comparative Judgement. Assessment in Education: Principles, Policy & Practice, v. 19, n. 3, p. 281–300, ago. 2012.

cannoli em São Paulo

29 Apr 2019 / Leonardo Barichello

Eu já tinha comido cannoli algumas vezes, mas fiquei encantado em Genova, quando provei o cannoli de um bar que se declarava siciliano: massa sequinha, leve e crocante e um recheio que não devia ser mais do que ricotta (não a brasileira, mas a versao mais pastosa do sul da Itália) e açucar (o "sabor" influenciava apenas em umas lasquinhas que era colocadas na ponta do doce). Uma delícia!

cannoli em genova

Inspirado por essa matéria da Veja SP, decidi caçar essa iguaria em Sampa.

A primeira tentativa (Gioia café) foi frustrante, pois peguei o lugar fechado duas vezes em horários que o Google Maps achava que ele estaria aberto.

A segunda foi no Zena Caffè. O lugar é bem metidinho e tem um clima bem gourmet, que não bate com a minha expectativa de uma comida tradicional do sul da Itália, mas tudo bem. O cannoli estava bom, mas tinha seus problemas. Massa muito firme, recheio com pouco gosto de queijo e foram servidos (são 2 por prato) em cima de uma bolinha do recheio (pura decoração), que acabou por amolecer a parte de baixo da massa.

A terceira veio meio por acaso e não está lista da Veja SP, mas deveria: Cannoli Don Biondo. Encontrei a barraquinha na feira de domingo no Parque da Independência. A barraca chamou a atenção por estar totalmente vazia (nenhum produto "de mostruário"). Bom sinal, pois o cara deve montar na hora. Batemos um pouco de papo com o Luís, que parecia saber do que estava falando e aumentou minha curiosidade quando mencionou que faz a própria ricota. Um ponto que quase me desanimou foi o fato dele oferecer muitos sabores, do tradicional ricotta a coisas como nutella e maracujá. Como sou um tanto purista com comida italiana, torci um pouco o nariz, mas o prospecto de comer um canolli montado ali na minha frente com recheio de ricotta me convenceu.

E vale muito a pena!

cannoli em SP

O recheio é super gostoso (o limão siciliano sobressai, mas sem ficar muito forte) e ainda tem o sabor da ricotta e a massa estava impecável! Pra coroar, o preço era bem razoável.

Recomendo muito!

receita de financier

27 Mar 2019 / Leonardo Barichello

Eu conheci o financier na Adélia Boulangerie, em Campinas. Trata-se de um bolinho pequeno, mais ou menos do tamanho de um cup cake, mas com massa de farinha de amêndoas e nenhuma cobertura ou recheio, apenas o bolinho. E achei uma delícia!

Chegando em casa, achei uma receita em um dos meus sites de receita favoritos, o The Kitchen Lioness.

Já repeti a receita algumas vezes e o único ajuste que precisei fazer foi na temperatura do forno (normalmente precisa ser mais alta em fornos típico brasileiros, com chama e sem ventilador interno. Chegue abaixo a minha versão:

100 g farinha de amêndoas
200 g açucar branco comum
6 claras de ovos grandes
90 g farinha de trigo
170 g manteiga sem sal

Unte 15 forminhas de cupcake (ou em outro formato, mas com volume parecido - a Adélia Boulangerie usa uma forminha mais comprida e dizem que existem forminhas específicas para esse tipo de bolinho, mas eu não conheço) e coloque-as na geladeira.

Derreta a manteiga em uma panela até que comece a escurecer. Desligue o fogo e reserve.

Junte a farinha de amêndoas e açucar em uma panela. Misture de modo a quebrar os pelotinhos de farinha de amêndoas. Acrescente as claras e aqueça em fogo médio por cerca de 2 minutos, mexendo bem o tempo todo. Desligue o fogo e adicione a farinha de trigo pouco a pouco (usar uma peneirinha não é uma má ideia), incorporando. Adicione a manteiga derretida e mexa até incorporar. A massa deve ficar mole.

Deixe a massa esfriar em ambiente aberto por 1 hora.

Pré-aqueça o forno a 255 graus. Distribua a massa nas forminhas e asse por 20 minutos na prateleira mais alta do forno. Os bolinhos devem ficar dourados e com o centro elevado.

financiers

O bolinho é uma delícia pra comer sozinho, acompanhado por um café, mas também funciona muito bem com um pouco de geléia a cada mordida!



begin ... prev 1 2 3 4 5 6 7 8 next ... end
rss

Subscribe to my RSS:
barichello.coffee/rss

Search

Tags

english português música poesia coffee Ireland mathematics education café music movie opinion duas versões two versions research methodology recipe política matemática opinião nottingham visualization linux food educação programação receita viagem arte educação matemática beer libreoffice amsterdam pesquisa free software video vídeo mobile tourism coding restaurant comic software livre art restaurante turismo comida campinas internet