Sendo a Réfega uma aldeia isolada no nordeste transmontano, com as suas gentes a dedicarem-se exclusivamente à agricultura e fazendo-o de forma artesanal e na maioria das vezes comunitária, tinha enraizados costumes e tradições muito próprios, vindouros dos seus antepassados, os quais era necessário preservar. Primeiro para os homenagear pelo riqueza cultural que nos deixaram e em segundo lugar para que a historia da cultura da Réfega pudesse ser transmitida de geração em geração. Sentiu-se então a necessidade de arranjar um lugar também comunitário onde as pessoas se pudessem juntar, como antes o faziam na casa dos vizinhos, e partilhar os seus momentos de lazer e serões mas, faltava tudo para isso acontecer, faltava algo como dinheiro, espaço, dinamizadores e outros.

Havia no centro da aldeia uma forja do povo (chamada de frauga) onde se faziam navalhas e se preparavam acessórios utilizados na agricultura (guinchas, enxadões, relhas entre outras), sendo a mesma sacrificada para deixar lugar para o novo edifício chamado de “Casa do Povo” que ai veio a nascer com o apoio de várias instituições. Esta obra foi iniciada por volta de 1978 mas, feito o esqueleto, viria a parar e talvez por falta de verbas, de vontade ou outras foi abandonada.

O tempo foi passando e na Réfega continuava a haver espírito comunitário fazendo-se realçar em dias nomeados que tinham a ver com tradições muito próprias. Um belo dia de Setembro de 1991 no decorrer de um almoço convívio da “passarada” no rés-do-chão da referida obra, em cima de terra, com uma mesa improvisada com algumas tábuas velhas e blocos por baixo, um elemento do grupo lançou o desafio: é necessário fazer alguma coisa não só para continuar a obra do edifício mas também para poder promover e dinamizar actividades culturais, sociais e desportivas na Réfega. A ideia nasceu e concretizou-se com a constituição de uma associação no dia 25 de Fevereiro de 1992. A associação deitou mãos a obra continuando a casa ate a sua conclusão, arranjando espaços desportivos para a prática do futebol, promovendo actividades culturais, recreativas, desportivas, convívios, serões e outras que tem vindo a continuar e a enriquecer.