본문 바로가기
개발자료(학급,수업운영)/스마트폰어플

피아노 AR(웹캠) - 카메라를 이용해서 피아노를 칠 수 있는 앱

by 민서아빠(과학사랑) 2017. 8. 22.

피아노 AR 컴퓨터용 

아래 첨부파일을 다운 받아서 실행하면 노트북이나 웹캠이 달린 컴퓨터에서 실행할 수 있다.

피아노AR.zip
다운로드

아래는 앱에 대한 설명

스마트폰 화면을 감지해서 피아노를 칠 수 있는 앱을 만들었다.

스마트폰에 앱을 설치하고 실행시킨 다음 스마트폰을 잘 고정시키고 스마트폰카메라를 통해 본인 모습이 나타나면 화면위에 나타난 건반을 손으로 치면 된다. 스마트폰앱은 아래 링크에서 설치하면 된다.

https://play.google.com/store/apps/details?id=air.com.sciencelove.doremi2

이때 손으로 내려 치는 것이 아니라 디스코 추듯이 손을 위아래로 움직이면서 피아노를 쳐야 한다.
(화면에 변화가 생기는 부분을 인식해서 피아노 건반을 치기 때문에 손을 건반위에 올려 놓고 있으면 계속 소리가 난다. 따라서 건반 아래로 손을 내렸다가 올리면서 쳐야 한다. 학생들이 건반 밑에 앉아 있다 일어나면서 머리로 쳐서 소리를 내는 것 처럼 손도 내렸다가 올리면서 쳐야 한다.

또 스마트폰을 움직이면 모든 건반이 소리가 난다. 화면이 변하기 때문이다. 따라서 스마트폰은 잘 고정시켜 놓고 피아노를 쳐야 한다. )

배경에 따라 인식률이 많은 차이가 난다.(배경에 빛이 강하거나, 또는 너무 어두운 경우 스마트폰카메라가 화면의 변화를 인식하지 못하기 때문에 그렇다. 배경을 잘 선택하는 것도 중요하다.)

이제 화면에 나타난 자신의 모습을 보면서 손을 위아래로 움직여 피아노를 칠 수 있다.

학급운영을 하거나 학급행사를 할때는 학생들 일곱명을 멀리 떨어뜨려 피아노 건반밑에 앉게 한 다음, 일어나면서 머리로 피아노 건반을 쳐서 학교종이와 같은 노래를 연주하게 할 수 있다. 이때 노래를 선정하고 어떤 모둠이 연주를 더 잘하는지 겨루기를 하면 좋을 듯 한다.

악기소리도 피아노,트럼펫,바이올린 소리로 바꾸어가며 할 수 있다.

스마트폰을 발 아래로 비추면 발을 앞으로 내밀면서 피아노를 연주할 수도 있다.

화면의 움직임을 감지하여 연주되므로 다양한 방법으로 운영이 가능하다. 계단에 잘 맞추어 설치해 놓으면, 학생들이 계단을 오르락내리락 할때 마다 피아노 소리가 나게 하는 것도 가능할 듯

스마트폰 화면감지를 이용해서 만든 두번째 프로그램이다.

물론 컴퓨터용도 있다. 컴퓨터용을 하기 위해서는 웹캠이 설치되어 있어야 한다.  컴퓨터용은 맨위에 따로 올려 놓았다.

.* 오늘 복도 창가에 설치해 놓으니 쉬는시간에 학생들 지나다닐때 마다 피아노 소리가 나네요. ^^
교무실 문쪽을 향하게 설치해 놓으면 경보장치 대용으로도 사용이 가능할 듯 합니다.

p.s. 앱을 실행하기 위해서는 adobe air를 추가로 설치해야 합니다. 그런데 최근에 플레이스토어에서 검색이 되지 않는 다고 하네요. 이유는 알아 보는 중입니다. 급한대로 아래 링크에 가셔서 adobe air 를 추가로 설치하시면 됩니다.

https://play.google.com/store/apps/details?id=com.adobe.air