A equipa da Amália disponibilizou o seu modelo mais recente no HuggingFace. O nosso primeiro-ministro indicou que ainda não responderia a perguntar, mas a versão mais clara é que o modelo está disponível para cada um correr no seu computador — o estado não disponibiliza para já servidores que corram o modelo.
Mas para alguém mais familiarizado com linhas de comando, poderá simplesmente correr (graças ao Duarte Carmo) o seguinte comando:
llama cli -hf duarteocarmo/AMALIA-9B-0626-SFT-GGUF:Q4_K_M
Pelo menos duas pessoas disponibilizaram um servidor para correrem o modelo: temos a Amália do Duarte Carmo e a Amália do Henrique Macedo, ambas prontas a responder às fossas perguntas.
Mas mais uma vez, um político criticou o modelo por não estar a par das actualidades
Todos os modelos, sejam os Claudes ou GPTs, são treinados com dados até uma determinada data que já passou. Eles conseguem responder com informação mais actualizada porque muitos modelos são treinados com a capacidade de recorrer a ferramentas externas (o famoso RAG).
Para dar esta funcionalidade ao Amália, eu — ou o Cursor, que programou por mim — criei um servidor intermédio, que recebe os pedidos do utilizador, e os envia à Amália, acrescentado alguns dados: a data e hora actual, e a informação que a Amália pode pedir a esse intermediário para procurar coisas na internet por ela. Agora ela já sabe o que acontece no mundo!
Se a Amália decidir que precisa de algo, responde ao agente intermediário que precisa da informação X, que ele procura e devolve sem passar pelo utilizador. Se não precisar mais de ir à internet, o intermediário passa a última resposta para o utilizador.
Este é o poder do RAG, e parece que a Amália está bem preparada para ele.