발전기금
-
- [일반] 멀티미디어 컴퓨팅 시스템 연구실 (MCSL, 지도교수 : 류은석), 제 147차 MPEG 국제표준화 미팅 참석
- ▲ 표준화 미팅 행사장 앞에서 단체 사진 2024년 7월 14일~19일 성균관대학교 실감미디어공학과 류은석 교수님 및 멀티미디어 컴퓨팅 시스템 연구실 (MCSL) 연구원들은 일본 삿포로에서 개최된 제 147차 MPEG 국제표준화 회의에 참석했습니다. 5박 6일간의 출장 기간 동안 연구원들은 다양한 working group (WG)에서 진행된 여러 표준화 미팅에 참가하였고, 표준화에 대한 이해도와 견문을 넓힐 수 있었습니다. 특히, MCSL은 본 표준화 회의에서 WG04 내 INVR 표준화 그룹에 아래 2건의 기고서를 제출하였습니다. - m68229 (Jaeyeol Choi, Jun-Hyeong Park, Jong-Beom Jeong, Yeong Gyu Kim, Eun-Seok Ryu) [INVR]EE2.2: Compression of 4D Gaussian Splatting based on Video Codec and Gaussian Pruning - m68240 (Jong-Beom Jeong, Jun-Hyeong Park, Jaeyeol Choi, Yeong Gyu Kim, Eun-Seok Ryu) Report on EE3: Thoughts on MIV DSDE Anchor Generation m68229은 3D Gaussian Splatting 기반 동적 공간 표현 방법인 4D Gaussian Splatting 모델에 대해 동영상 코덱 및 가우시안 prunning 을 적용하여 압축하는 기법을 제안한 기고서이며, m68240의 경우에는 INVR의 anchor로 사용되는 MIV 의 실험 조건에 대한 실험 결과 및 논의 사항을 담은 기고서입니다. ▲ 최재열 학생의 발표 모습 ▲ 정종범 학생의 표준화 회의 참여 모습 연구원들은 준비한 기고서를 발표하는 것에 그치지 않고 적극적으로 회의 중 발언하였으며 다른 기관의 발표에 대해 경청을 하고 표준화 방향에 대해서도 논의하였습니다. 위 사진들은 MCSL 학생들이 INVR AHG 및 BOG 회의에 참여하여 발표 및 발언하는 모습입니다. ▲ 홀로그램 표현기술 시연 관람 WG04 Plenary에 참여하여 LCEVC, LVC, FCM 등 다른 비디오 표준화 과정이 어떻게 진행되는지 동향을 파악했으며, MIV BoG에 참석하여 6자유도 영상 표준인 MIV의 연구 방향을 follow up할 수 있는 기회를 가졌습니다. 뿐만 아니라 WG07 회의와의 Joint Meeting에도 참석하여 3DGS를 통한 공간/객체 표현 기법이 WG07과 협업을 통해 구체화 되고 있는 현황을 파악하고 MCSL 자체의 대응 방안을 모색했습니다. ▲ MPEG & JVET 표준화 회의가 개최된 삿포로 컨벤션 센터 전경 회의 일과가 끝난 후 쉬는 시간에는 시내를 둘러보며 다양한 볼거리를 즐겼고, 맛있는 식사도 하며 즐거운 시간을 보냈습니다. 국제 표준화에 대한 전문적인 지식을 배울 수 있는 좋은 기회였습니다. MCSL에서는 이후에도 내실을 다진 후 적극적으로 국제 표준화 활동에 참여할 계획입니다.
-
- 작성일 2024-07-22
- 조회수 1421
-
- [연구] I2SLAB 송인표 석사 (지도교수: 이장원), IROS 2024 논문 채택
- I2SLAB (지도교수: 이장원)의 송인표 (실감미디어공학과) 학생이 연구한 논문 “SFTrack: A Robust Scale and Motion Adaptive Algorithm for Tracking Small and Fast Moving Objects” 이 ICRA와 더불어 Robotics 분야에서 세계적 권위를 자랑하는 양대 국제학술대회인 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2024 에 게재 승인되어 10월에 발표될 예정입니다. 본 논문에서 이장원 교수 연구팀은 UAV 영상에서의 빠른 움직임과 고고도 및 광각뷰로 인해 객체가 불명확하게 나타나는 문제를 해결할 수 있는 새로운 다중 객체 추적 알고리즘을 제안하였습니다. 논문의 자세한 내용은 다음과 같습니다. [논문] Inpyo Song and Jangwon Lee, “SFTrack: A Robust Scale and Motion Adaptive Algorithm for Tracking Small and Fast Moving Objects,“ IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2024), Oct. 2024. [Abstract] This paper addresses the problem of multi-object tracking in Unmanned Aerial Vehicle (UAV) footage. It plays a critical role in various UAV applications, including traffic monitoring systems and real-time suspect tracking by the police. However, this task is highly challenging due to the fast motion of UAVs, as well as the small size of target objects in the videos caused by the high-altitude and wide-angle views of drones. In this study, we thus introduce a refined method to overcome these challenges. Our approach involves a new tracking strategy, which initiates the tracking of target objects from low-confidence detections commonly encountered in UAV application scenarios. Additionally, we propose revisiting traditional appearance-based matching algorithms to improve the association of low-confidence detections. To evaluate the effectiveness of our method, we conducted benchmark evaluations on two UAV-specific datasets (VisDrone2019, UAVDT) and a general dataset (MOT17). The results demonstrate that our approach surpasses current state-of-the-art methodologies, highlighting its robustness and adaptability in diverse tracking environments. Furthermore, we have improved the annotation of the UAVDT dataset by rectifying several errors and addressing omissions found in the original annotations. We will provide this refined version of the dataset to facilitate better benchmarking in the field.
-
- 작성일 2024-07-19
- 조회수 1421
-
- [학생실적] MCSLab 석사과정 박준형 학생(지도교수 : 류은석), 한국방송·미디어공학회 하계학술대회에서 최우수 논문상 수상
- 2024년 6월 25-28일 개최된 한국방송·미디어공학회 하계학술대회에서 멀티미디어컴퓨팅시스템연구실(지도교수 류은석)의 박준형 석사과정 학생이 최우수논문상을 수상하였습니다. 시상식은 2022년 12월 7일 한국과학기술회관 아이리스홀에서 진행되었습니다. 이번 하계학술대회에서는 총 231개의 논문이 발표되었고, 총 401명이 참가하였습니다. 박준형 학생은 정종범, 최재열, 김영규 학생과 함께 6DoF 영상 합성을 위한 고품질의 다시점 깊이 정보를 생성하기 위해 Transformer 기반의 단안 시점 깊이 정보 생성 모델을 활용해 MPEG Immersive Video (MIV) decoder-side depth estimation (DSDE) 프로파일에 채택된 Imersive video depth estimation (IVDE) 방식으로 생성된 다시점 깊이 정보의 품질을 향상 시키는 기법에 대해 논문 작성 및 발표를 진행하였습니다. (논문 제목: Depth Prediction Transformer 모델을 활용한 다시점 실사 데이터의 고품질 깊이 정보 생성 기법)
-
- 작성일 2024-07-12
- 조회수 1209
-
- [교수동정] 소프트웨어융합대학 이지형, 박은일 교수, 대학ICT연구센터사업 선정
- ▲ 2024학년도 대학ICT연구센터(ITRC) 사업에 선정된 이지형 교수(왼쪽)과 박은일 교수(오른쪽) 과학기술정보통신부의 2024학년도 대학ICT연구센터(ITRC) 사업에 이지형 교수와 박은일 교수의 연구가 각각 선정돼 앞으로 8년간 과제별 75억 원씩 총 150억 원의 연구비를 지원받는다. 이지형 교수는 인공지능(AI) 분야에, 박은일 교수는 사회문제해결 분야에 선정되었다. 사회문제해결 분야에 선정된 박은일 교수 연구팀의 ‘D2 연구센터’는 딥페이크의 생성, 탐지, 추적을 위한 시스템을 개발할 예정이다. 아울러 해당 기술의 안전성, 공정성 기반의 감사 프레임워크와 다양한 도메인 유형에도 강건한 탐지 모델 추론을 혁신도약 과제로 설정하여 사회/산업적으로 반드시 필요한 연구개발 결과물을 도출할 예정이다. 이 연구에는 8년간 약 400명의 석박사급 인력이 참여하여 연구를 수행한다. 박은일 교수는 “AI 발전과 함께 역기능에 대한 우려와 대응이 절실한 상황에서 딥페이크와 가짜 뉴스에 대한 생성, 탐지, 추적을 위한 인공지능 기반 기술이 연구, 개발될 예정이고, 이러한 기술을 공공과 민간을 위한 서비스를 제공하여, 안전하고 신뢰성 높은 AI 사용과 관련 전문 인력 양성 및 배출에 기여할 수 있을 것으로 기대된다”고 말했다.
-
- 작성일 2024-07-08
- 조회수 637
-
- [연구] MCSLab.(지도교수 : 류은석) , JCR 2023기준 상위 8% 논문 개제 성과
- MCSLab (지도교수 : 류은석)의 정종범, 이순빈 학생들이 연구한 논문 " DATRA-MIV: Decoder-Adaptive Tiling and Rate Allocation for MPEG Immersive Video " 을 제출한 ACM TOMM이 JCR 2023 기준 상위 8% 논문 개제 성과를 이뤘습니다. 본 논문에서 류은석 교수 연구팀은 MIV 인코더를 활용하여 VR 같은 입체 장치에 사용할 수 있는 인코딩을 제안합니다. 논문의 자세한 내용은 다음과 같습니다. [논문] DATRA-MIV: Decoder-Adaptive Tiling and Rate Allocation for MPEG Immersive Video [Abstract] The emerging immersive video coding standard moving picture experts group (MPEG) immersive video (MIV), which is ongoing standardization by MPEG-Immersive (MPEG-I) group, enables six degrees of freedom in a virtual reality environment that represents both natural and computer-generated scenes using multi-view video compression. The MIV eliminates the redundancy between multi-view videos and merges the residuals into multiple pictures, called an atlas. Thus, bitstreams with encoded atlases are generated and corresponding number of decoders are needed, which is challenging for the lightweight device with a single decoder. This article proposes a decoder-adaptive tiling and rate allocation method for MIV to overcome the challenge. First, the proposed method divides atlases into subpictures considering two aspects: (i) subpicture bitstream extracting and merging into one bitstream to use a single decoder and (ii) separation of each source view from the atlases for rate allocation. Second, the atlases are encoded by versatile video coding (VVC), using an extractable subpicture to divide the atlases into subpictures. Third, each subpicture bitstream is extracted, and asymmetric quality allocation for each subpictures is conducted by considering the residuals in the subpicture. Fourth, mixed-quality subpictures were merged by using the proposed bitstream merger. Fifth, the merged bitstream is decoded by using a single decoder. Finally, the viewing area of the user is synthesized by using the reconstructed atlases. Experimental results with the VVC test model (VTM) show that the proposed method achieves a 21.37% Bjøntegaard delta rate saving for immersive video peak signal-to-noise ratio and a 26.76% decoding runtime saving compared to the VTM anchor configuration. Moreover, it supports bitstreams for multiple decoders and single decoder without re-encoding, transcoding, or a substantial increase of the server-side storage.
-
- 작성일 2024-06-25
- 조회수 1612
-
-
- 실감미디어공학과 FUN DAY - "PIZZA DAY"
- 봄날의 햇볕이 따스했던 지난 5월 13일, 인사캠 금잔디 광장 옆 야외무대에서 실감미디어공학과 PIZZA DAY를 진행하였습니다. 이번에 2번째로 실시된 PIZZA DAY에서 진행 중인 STAYING HEALTHY MONTH CHALLENGE의 중간 결과를 발표하며, "건강히 연구하자"는 메시지와 걷기에 동참할 것을 독려하였습니다. 참여 교수진과 재학생들이 모두 모여 피자를 나눠먹으며 친목과 유대감을 다지고, 교류를 통해 연구성과를 증진시킬 수 있는 귀중한 시간이었습니다. 실감미디어공학과에서는 매월 첫 번째 월요일에 PIZZA DAY를 개최하며, 6월 3일에 다음 PIZZA DAY가 개최될 예정입니다.
-
- 작성일 2024-05-20
- 조회수 1786
-
- LG CTO그룹 iLab 이석수 연구소장(상무) 실감미디어공학과 IAB 위원 위촉
- 지난 5월 8일, 실감미디어공학과에서 실감미디어공학과 세미나와 함께 IAB 위원 위촉식이 진행되었습니다. IAB(Industry Advisory Board)는 기업 친화적인 교육과 연구를 위하여, 기술과 콘텐츠 트랙의 대표적인 기업 담당부서의 임원급 전문가로 구성된 단체로, 학과 및 연구 전반의 조언을 받으며, 매년 Year-end 성과교류회에 초청, 심사위원으로서 연구, 개발 성과에 조언을 받습니다. 금번에 IAB위원으로 위촉되신 LG전자 CTO부문 iLAB 이석수 연구소장(상무)님은 이번 실감미디어세미나에서 메타버스에 대한 전반적인 개요와 XR기기와 최신 기술 동향과 전망에 대해 특강을 해주셨으며, 앞으로도 학생들의 학습과 연구활동에 대한 산업계의 전문가로서 관심과 격려의 자문을 해주실 예정입니다.
-
- 작성일 2024-05-10
- 조회수 1662
-
- I2SLAB 송인표, 이종민 학생 (지도교수: 이장원), IJCAI2024 논문 채택
- I2SLAB (지도교수: 이장원)의 송인표, 이종민(실감미디어공학과) 학생들이 연구한 논문 “ Motion-Aware Heatmap Regression for Human Pose Estimation in Videos” 이 인공지능 분야 최우수 학회 (BK IF=4) International Joint Conferences on Artificial Intelligence (IJCAI) 2024 에 게재 승인되어 8월에 발표될 예정입니다. 본 논문에서 이장원 교수 연구팀은 시간적 종속성을 고려하여 motion blur와 occlusion 속에서 사람 자세의 불확실성을 효과적으로 모델링할 수 있는 motion-aware heatmap 이라는 새로운 아이디어를 제안하였습니다. 논문의 자세한 내용은 다음과 같습니다. [논문] Inpyo Song, Jongmin Lee, Moonwook Ryu, and Jangwon Lee, “Motion-Aware Heatmap Regression for Human Pose Estimation in Videos,“ International Joint Conferences on Artificial Intelligence (IJCAI 2024), Aug. 2024. [Abstract]. We present an approach to solving 2D human pose estimation in videos. The problem of human pose estimation in videos differs from estimating human poses in static images since videos contain a lot of motion related information. Thus, we investigate how to utilize by the information of the human body movements across in a sequence of video frames for estimating human poses in videos. To do this, we introduce a novel heatmap regression method what we call motion-aware heatmap regression. Our approach computes motion vectors in joint keypoints from adjacent frames. We then design a new style of heatmap that we call Motion-Aware Heatmaps to reflect the motion uncertainty of each joint point. Unlike traditional heatmaps, our motion-aware heatmaps not only consider the current joint locations but also account how joints move over time. Furthermore, we introduce a simple yet effective framework designed to incorporate motion information into heatmap regression. We evaluate our motion-aware heatmap regression on PoseTrack(2018, 21) and Sub-JHMDB datasets. Our results validate that the proposed motion-aware heatmaps significantly improve the precision of human pose estimation in videos, particularly in challenging scenarios such as videos like sports game footage with substantial human motions.
-
- 작성일 2024-04-18
- 조회수 2628
-
- 실감미디어공학과 FUN DAY - "BEER DAY"
- 지난 4월 11일, 혜화역 인근의 작은 치킨집에서 실감미디어공학과 BEER DAY를 진행하였습니다. 참여 교수진과 재학생들이 모여 뜨거운 열정과 스트레스들을 잠시 내려놓고, 즐겁게 치킨과 맥주를 마시며 유대감과 소속감을 돈독히 할 수 있는 시간이었습니다. 실감미디어공학과에서는 매 학기 BEER DAY를 개최하며, 9월에 2학기 BEER DAY가 개최될 예정입니다. 그 외에 많은 FUNDAY 행사들이 기다리고 있으니 많은 기대와 참여를 부탁드립니다. 감사합니다.
-
- 작성일 2024-04-17
- 조회수 2548