A historia de K-ON é sobre a atividade de um clube escolar de música formado por quatro garotas sem nenhuma experiência musical. Tudo começa quando a protagonista Hirasawa Yui entra no clube sem nem saber tocar um instrumento. Ela acaba desistindo, mas, na hora de cancelar a inscrição, acaba ficando com pena do clube ao saber que este estava prestes a fechar por falta de apenas um membro.