발전기금
-
- [성균웹진530호]현실과 미디어의 벽을 허물다 실감미디어공학과
- 미디어 콘텐츠를 단지 보는 것을 넘어 그 속으로 들어가 경험할 수 있는 것, 이는 최근 각광받는 실감형 콘텐츠를 한 마디로 설명한 것이다. 이는 앞으로 미디어 산업이 나아갈 방향이자 미디어 시장의 흐름을 뒤바꿀 중요한 키워드이다. 마찬가지로 이를 구현할 수 있는 기술력 또한 차세대 산업을 선도하는 데에 있어 특히 중요하다. 우리 대학은 이러한 실감미디어콘텐츠 구현 역량을 지닌 미래의 글로벌 인재를 양성하고자 2023년 8월 실감미디어공학과를 신설했다. 실감미디어공학과는 소프트웨어융합대학 소속의 대학원 과정 신설학과로, 최근 주목받는 실감형 콘텐츠의 기술적 측면, 콘텐츠의 내용적 측면 모두를 다루는 커리큘럼을 제공한다. 이번 커버스토리에서는 실감미디어공학과의 신임 교수인 이장원 교수와 홍성은 교수를 만나 실감미디어공학과에 대해 이모저모 알아보는 시간을 가졌다. 두 교수의 이야기를 통해 실감미디어공학과에 깊이 들어가 보자. | 만나서 반갑습니다. 자기소개 부탁드립니다. 이장원 교수(오른쪽 사진) | 안녕하세요. 2023학년도 1학기에 새로 부임한 실감미디어공학과 및 컴퓨터공학과의 신임 교원, 이장원입니다. 성균관대 부임 이전에는 한국항공대학교에서 3년간 연구와 강의를 진행했습니다. 그전에는 미국 인디애나대학교에서 박사학위를 받고, Alarm.com과 NASA JPL에서 다양한 프로젝트를 수행하며 즐거운 연구 경험을 쌓았습니다. 이전에는 성균관대학교에서 학부와 석사 과정을 마치고 삼성전자에서 6년간 SW Engineer로 일하기도 했습니다. 만나서 정말 반갑습니다. 홍성은 교수 | 안녕하세요. 저는 2023학년도 2학기에 실감미디어공학과에 새로 부임한 홍성은입니다. 저는 현재 AI & Media (AIM) Lab을 이끌고 있으며, 저희 연구실은 시각 인지 및 생성과 관련된 인공지능 연구와 이미지, 텍스트, 음성 등 다양한 데이터를 융합하여 추론하는 인공지능 연구에 중점을 두고 있습니다. 개인적으로는 다양한 미디어 매체에 깊은 관심이 있으며 특히 필름 카메라 사진에 열정을 쏟아 사진 전시회를 여는 등 사진과 영상 작업을 매우 좋아합니다. | 교수님의 대표적인 연구 활동 및 성과 소개 부탁드립니다. 이장원 교수 | 제 연구 분야는 Computer Vision 및 Robotics입니다. 구체적으로 “Learning Activities from Human Demonstration Videos”라는 주제로 박사 학위를 받았는데요. 비디오와 같은 데이터로부터 사람의 행동을 이해 및 분석하고 이를 바탕으로 사람과 보다 자연스럽게 상호작용 할 수 있는 지능시스템을 개발하는 데 관심이 있습니다. 관련한 연구 주제로 비디오 데이터로부터 인간의 행동을 모방하는 방법을 연구하여 2017년도에 컴퓨터 비전 및 패턴인식 분야 세계 최고 권위 학회인 CVPR에서 열린 “Deep Learning for Robotic Vision” Workshop에서 최우수 논문상을 받기도 했습니다. 홍성은 교수(아래 사진) | 지난 3년간 저는 주로 두 가지 연구 분야에 집중해 왔습니다. 첫 번째 연구 분야는 인공지능이 다양한 종류의 데이터를 융합하여 환경을 인식하고 추론하는 방법에 관한 것입니다. 예를 들어, 우리가 일상에서 흔히 접할 수 있는 RGB 영상 외에도 깊이나 열화상 영상, 언어 및 음성 정보 등 다양한 종류의 데이터를 상호 보완적으로 결합하는 방법을 연구하고 있습니다. 최근에는 삼성전자 미래기술사업의 지원을 받아, 로봇이 인간처럼 물체를 조작하기 위해 시각과 촉각 정보를 효율적으로 융합하는 연구를 진행했습니다. 두 번째 연구 분야는 환경 변화에 적응가능한 인공지능 모델 개발입니다. 이는 메타버스 내에서의 휴먼 모델링이나, 시뮬레이션에서 학습된 모델을 실제 환경에 적용하는 분야에 활용되는 연구로, 실제와 가상의 경계를 허무는 기술 발전에 기여하고 있습니다. | 실감미디어공학과에 대한 소개 부탁드립니다. 어떤 걸 배우는 학과인가요? 실감미디어공학과는 소프트웨어융합대학 소속으로서 인문사회과학캠퍼스에 있으며 2023년에 신설되었습니다. 실감미디어공학과에서는 영상처리, 그래픽스, 인공지능, 플랫폼, 인터랙션 등의 기술적 분야뿐만 아니라, 콘텐츠, 인터랙션, 문화 기술의 융합에 관한 학문을 배웁니다. 이를 통해 실감형 메타버스와 ICT기술, 문화 및 영상 콘텐츠 기술을 아우르는 글로벌 리딩 전문가를 양성하는 것을 목표로 합니다. | ‘실감미디어’라는 단어가 생소한데요, 실감미디어학과에서 배우는 ‘실감미디어’가 정확히 무엇인가요? 실감미디어의 의미는 이와 가장 관련이 높은 단어인 XR(Extended Reality)를 생각하시면 이해가 쉬우실 겁니다. 이는 가상현실(VR), 증강현실(AR), 혼합현실(MR) 등을 통합하는 개념으로, 현실과 가상의 경계를 허물어 사용자가 보다 콘텐츠에 현실감 있게 몰입할 수 있도록 도와주는 미디어 기술을 의미합니다. 이러한 실감미디어 기술은 사용자에게 실시간 상호작용과 시각, 청각, 촉각을 활용한 현실감 있는 경험을 제공하며 교육, 엔터테인먼트, 의료 등 다양한 분야에서 응용될 수 있습니다. | 실감미디어공학과의 트랙은 어떻게 되나요? 크게 메타버스 5대 핵심 기반 기술(인공지능/영상처리/그래픽스/인터랙션/플랫폼)을 다루는 실감미디어테크 트랙과 5대 응용 기술(문화콘텐츠/트랜스미디어/디지털휴먼 및 치료제/NFT/XR 스튜디오)을 배우는 실감미디어콘텐츠 트랙으로 구분됩니다. 학과 전체 커리큘럼은 CS/EE 전공 기반 기술과 콘텐츠 관련 기술이 약 7:3 비율로 구성되며, 특히 인공지능, 컴퓨터비전, 그래픽스, 영상처리 관련 과목들이 많이 개설됩니다. ▲ 실감미디어공학과 트랙 | 실감미디어공학과에서 배우는 실감미디어기술, 콘텐츠기술의 전망에 대해 어떻게 생각하시나요? 실감미디어공학과에서 배우는 실감미디어기술과 콘텐츠기술의 전망은 매우 밝다고 생각합니다. 불과 몇 해 전과 다르게 ‘메타버스’라는 단어의 사용 및 노출빈도가 많이 줄어들고 관심이 시들어가고 있는데요, 하지만 이와 달리 XR로 대표되는 실감미디어기술들은 계속해서 발전하고 있으며, 관련 컨텐츠 또한 계속 생산되고 있습니다. 이는 실감미디어기술이 사용자에게 실시간 상호작용과 깊은 몰입감을 제공하며 새로운 경험과 가치를 창출할 수 있기 때문이라고 생각합니다. 콘텐츠 기술은 디지털 스토리텔링, 인터랙티브 미디어, 데이터 시각화 등을 포함하여 정보와 경험을 전달하는 새로운 방법을 제공합니다. 따라서 실감미디어기술은 미디어 산업뿐만 아니라 마케팅, 게임, 엔터테인먼트, 교육, 의료, 로봇 등 다양한 분야에서 중요한 역할을 하게 될 것으로 전망합니다. | 실감미디어공학과는 대학원 과정으로 알고 있는데요, 실감미디어공학과 진학을 희망하는 학생들이 갖추어야 할 자질은 어떤 것이 있을까요? 기술적 기반을 강조하는 '테크 트랙'과 응용 기술에 초점을 맞춘 '콘텐츠 트랙' 모두 공통적으로 프로그래밍 기초 지식과 경험이 중요합니다. 특히 컴퓨터비전, 그래픽스, 인공지능과 같은 학과에서 집중하고 있는 분야에서는 확률 및 통계, 선형대수, 미적분과 같은 수학적 지식도 선행되어야 합니다. 학과의 특성을 고려하면, 미디어에 대한 관심과 열정을 가진 학생들은 더욱더 큰 동기 부여를 받아 학업에 더욱 집중할 수 있을 것으로 보입니다. | 실감미디어공학과 신임 교수로서 어떤 교수가 되고 싶으신지 앞으로의 계획이나 목표가 궁금합니다. 이장원 교수 | 신임 교원으로서 제 강점은 다양한 국내외 연구 경험이라고 생각합니다. 저는 이를 기반으로 학생들에게 실용적이고 창의적인 교육을 제공하고 싶습니다. 특히, 국내외 다양한 네트워크를 이용하여 실감미디어공학과 학생들에게 국제적인 연구 프로젝트 참여와 경험 기회를 제공하고자 합니다. 연구 영역에서는 더 자연스럽고 인간다운 상호작용을 갖는 인공지능 시스템 개발을 통해 사회에 긍정적인 영향을 끼치고자 합니다. 홍성은 교수 | 신임 교수로서 제 목표는 학생들이 급변하는 현대 기술 사회에서 자신만의 전문성과 빠른 적응력을 개발할 수 있도록 지원하는 것입니다. 특히, 올해 인공지능 분야는 기술적으로 중대한 전환점을 맞이했습니다. 저뿐만 아니라 학생들이 이러한 변화의 소용돌이에 휩쓸리거나 주변을 맴돌지 않고, 변화의 파도를 직접 타며 자신만의 전문성을 강화하는 것을 목표로 삼고 있습니다. 이를 위해, 제가 쌓아온 산업계 경험을 바탕으로 학생들이 실제 산업 현장과 학계에서 마주치는 다양한 도전과 난관에 대비할 수 있도록 실질적인 지도와 멘토링을 제공할 계획입니다. 연구 기회와 자원을 적극적으로 지원하여 학생들이 혁신적인 연구를 수행하고, 필요한 고급 기술 및 해결 방안을 개발하도록 할 것입니다. | 마지막으로 실감미디어공학과 진학을 꿈꾸는 학생들에게 한 마디 부탁드립니다. 이장원 교수 | Hoxy, XR 기술에 관심이 있으신가요? 인공지능을 비롯한 기술의 진보에 대한 열정이 있나요? Apple의 최신 제품인 Vision Pro가 여러분의 호기심을 자극했나요? 실감미디어 기술을 중심으로 새로운 사용자 경험을 만들 수 있다고 생각하시나요? 만약 여러분이 이 모든 질문에 긍정적으로 답했다면, 실감미디어공학과가 여러분에게 최고의 경험을 제공할 장소일 수 있습니다. 홍성은 교수 | ‘Connecting the dots’라는 제가 좋아하는 개념에 대해 이야기하고 싶습니다. 인생은 다양한 선택과 경험으로 이루어진 '점들’로 채워져 있으며, 이러한 점들 사이의 ‘연결성’이 매우 중요하다고 생각합니다. 일부 점들은 현재에는 분명한 의미를 지니지 않아 보일 수 있지만, 예측 불가능한 미래에서는 중요한 발전의 출발점으로 연결될 수 있습니다. 실감미디어공학과 진학을 희망하는 학생들은 준비 과정에서 실감미디어와 관련된 다양한 경험을 적극적으로 쌓으며 자신만의 '점들'을 채워 나가고, 이러한 점들 간의 '연결성'을 끊임없이 탐색해 보았으면 합니다.
-
- 작성일 2024-01-03
- 조회수 815
-
- 류은석학과장, 2023년도 「올해의 성균인상」 수상
- 실감미디어공학과의 류은석 학과장님이 2023 올해의 성균인상을 수상하였습니다. 「올해의 성균인상」은 수기치인(修己治人)의 건학이념을 바탕으로 인의예지(仁義禮智)의 교시를 실천하여 교육, 행정, 학생활동 및 사회봉사 등 각 영역에서 학교발전에 기여한 공적이 현저한 개인 및 단체를 포상하고, 남다른 애교심을 바탕으로 학교,국가,인류, 사회의 발전에 기여하여 타의 귀감이 되고 본교의 명예를 드높은 성균가족을 선정하여 모든 성균인의 표상으로 삼는 우리대학 최고 권위의 상입니다. 수상을 축하드립니다.
-
- 작성일 2023-12-18
- 조회수 692
-
- 실감미디어공학과 양이삭, 박준형 학생, 한국방송미디어공학회 추계학술대회 우수논문상 및 논문경진대회 대상 수상
- 2023년 11월 20-21일 개최된 한국방송·미디어공학회 추계학술대회에 실감미디어 공학과 류은석 교수님 및 MCSLab 소속 양이삭 석박통합과정생, 박준형 학석사연계과정생 학생이 참가하였습니다. 이번 학술대회에서 MCSLab 연구원들은 아래와 같이 몰입형 비디오 취득 및 Neural Radiance Fields (NeRF) 관련 주제로 한 논문을 구두발표와 포스터 발표를 통해 발표하였습니다. -발표논문 - 1) 양이삭: 실사 공간 영상 캡쳐링을 위한 6DoF VR 몰입형 비디오 취득 시스템 구현 2) 박준형: 6자유도 몰입형 비디오 합성을 위한 동적 방사형 필드 모델링 기법
-
- 작성일 2023-11-27
- 조회수 784
-
-
-
-
-
-
- DSAIL.(지도교수: 한진영), EMNLP2023 논문 채택
- DSAIL.(지도교수: 한진영)의 이다은(인공지능융합학과), 손세정(인공지능융합학과), 전효림(인공지능융합학과) 학생들이 연구한 논문 “Learning Co-Speech Gesture for Multimodal Aphasia Type Detection” 이 세계 최고 권위 자연어처리 학회인 EMNLP 2023 (The 2023 Conference on Empirical Methods in Natural Language Processing), Main conference paper로 채택되었습니다. 논문은 23년 12월 싱가포르에서 발표될 예정입니다. 본 논문은 인공지능융합학과 박사과정 및 석사과정 학생들의 협업을 통한 결과물로서, 실어증 유형을 예측하기 위해 음성과 제스처 간의 상관관계를 반영하는 multimodal graph neural network를 제안하였습니다. 논문의 자세한 내용은 다음과 같습니다. [논문] Daeun Lee, Sejung Son, Hyolim Jeon, Seungbae Kim and Jinyoung Han, ““Learning Co-Speech Gesture for Multimodal Aphasia Type Detection,” The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023), Dec. 2023. [Abstract]. Aphasia, a language disorder resulting from brain damage, requires accurate identification of specific aphasia types, such as Broca’s and Wernicke’s aphasia, for effective treatment. However, little attention has been paid to developing methods to detect different types of aphasia. Recognizing the importance of analyzing co-speech gestures for distinguish aphasia types, we propose a multimodal graph neural network for aphasia type detection using speech and corresponding gesture patterns. By learning the correlation between the speech and gesture modalities for each aphasia type, our model can generate textual representations sensitive to gesture information, leading to accurate aphasia type detection. Extensive experiments demonstrate the superiority of our approach over existing methods, achieving state-of-the-art results (F1 84.2%). We also show that gesture features outperform acoustic features, highlighting the significance of gesture expression in detecting aphasia types.
-
- 작성일 2023-11-02
- 조회수 681
-
