當(dāng)前位置:首頁 >  科技 >  IT業(yè)界 >  正文

有“聲”聚一堂|RTE 2021 編程挑戰(zhàn)賽圓滿收官

 2021-06-15 09:58  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過

6 月 12 日,由聲網(wǎng)Agora 與環(huán)信聯(lián)合主辦的“RTE 2021 編程挑戰(zhàn)賽”圓滿落幕。從 200+ 支參賽隊(duì)伍中沖出重圍的 46 支決賽隊(duì)伍用精彩的答辯為歷時(shí) 2 個(gè)多月的大賽劃下了圓滿的句號(hào)。

今年的“RTE 2021 創(chuàng)新編程挑戰(zhàn)賽”共分為 2 個(gè)賽道:應(yīng)用創(chuàng)新賽道延續(xù)了「使用聲網(wǎng)Agora SDK 開發(fā)應(yīng)用」的賽題;技術(shù)創(chuàng)新賽道開發(fā)者可以「利用聲網(wǎng)云市場(chǎng)插件接口,開發(fā)自研插件與功能演示 Demo」。

盡管此次的賽制與賽題對(duì)參賽隊(duì)伍提出了更高的要求,但同時(shí)也為大家提供了獨(dú)有的技術(shù)創(chuàng)新空間。相較去年而言,兩個(gè)賽道的報(bào)名隊(duì)伍及提交作品幾乎都是去年的一倍。

本次大賽的決賽和頒獎(jiǎng)都是通過 Agora Video Call App 在線上進(jìn)行的,全程通過 B 站進(jìn)行了直播。 最終,決賽共誕生了應(yīng)用創(chuàng)新賽道的一、二、三等獎(jiǎng)團(tuán)隊(duì)各一名,“環(huán)信專項(xiàng)獎(jiǎng)”一名,以及“優(yōu)秀獎(jiǎng)” 六名;技術(shù)創(chuàng)新賽道“技術(shù)創(chuàng)新專項(xiàng)獎(jiǎng)”一名,“優(yōu)秀獎(jiǎng)”一名。

應(yīng)用創(chuàng)新賽道

一等獎(jiǎng):Agora Home AI

隨著智能設(shè)備性能提升和網(wǎng)絡(luò)的快速發(fā)展,以音視頻為基礎(chǔ)的智能硬件也正在蓬勃發(fā)展中??缙放?、跨產(chǎn)品的設(shè)備管理也成為縈繞在用戶日常使用中繞不開的一個(gè)話題。

「Agora Home AI」 系統(tǒng)以智能家居為主題,使用云信令 SDK 實(shí)現(xiàn)了IoT 設(shè)備遠(yuǎn)程控制。同時(shí),通過聲網(wǎng)Agora RTC SDK 實(shí)現(xiàn)人與機(jī)器的 1V1 視頻,將機(jī)器人端采集到的視頻發(fā)送至 PC 控制中心,進(jìn)行 AI 智能檢測(cè),觸發(fā)事件響應(yīng)。

系統(tǒng)采用開源了 Yolo V3 算法進(jìn)行各種視頻數(shù)據(jù)的處理,支持 C#、C++ 調(diào)用;Unity 3D、VS 系列開發(fā)。目前已支持 Yolo 基礎(chǔ) 80 種物體識(shí)別、安全帽識(shí)別、冰球識(shí)別文件等。采用聲網(wǎng)提供的云信令 SDK 進(jìn)行遠(yuǎn)程設(shè)備控制,構(gòu)建群組房間進(jìn)行消息實(shí)時(shí)通信,支持通過自定義協(xié)議進(jìn)行智能硬件的控制。

「Agora Home AI」可以幫助用戶實(shí)現(xiàn)可穿戴設(shè)備、智能家具設(shè)備、視頻監(jiān)控設(shè)備接入何控制。包括智能燈光、智能門窗、智能門鎖、智能安防、智能手環(huán)監(jiān)測(cè)、智能家電控制等配套產(chǎn)品,讓用戶實(shí)現(xiàn)多種品牌的智能設(shè)備在統(tǒng)一的交互平臺(tái)內(nèi)互聯(lián)互通、統(tǒng)一管理、智能聯(lián)動(dòng)。為給用戶創(chuàng)造更舒適、更安全、更節(jié)能的家居生活環(huán)境。

二等獎(jiǎng):Agora FIow

獲得第二名的作品「Agora Flow」是一個(gè)基于聲網(wǎng)+環(huán)信 SDK 搭建的音視頻 Low Code Web 共享編輯器。

作品的靈感來源于在使用聲網(wǎng)Agora SDK 的過程中,創(chuàng)作者一直在思考關(guān)于音視頻服務(wù)除了以 SDK 的形式啦哎提供服務(wù)和為開發(fā)者賦能外,還有沒有別的形式呢?Low Code 就是這樣一個(gè)可能的解決方案。將音視頻相關(guān)功能進(jìn)行模塊化集成,提供一個(gè)圖形化界面,讓開發(fā)者可以用做 PPT 的形式來完成想要實(shí)現(xiàn)的功能。

作品通過聲網(wǎng)的音視頻傳輸及云信令 SDK 產(chǎn)品,提供了基于 Web 的集成了 RTC Chat SDK 的模版工程,通過 CodeGen 來生成配置項(xiàng)。實(shí)現(xiàn)了在線流程圖編輯器 Low Code 項(xiàng)目的自動(dòng)生成。作品中的一切的操作幾乎都可以通過拖拽來完成。

有開發(fā)者開玩笑說,這次的大賽作品很多都是開發(fā)了一個(gè) App,而「Agora Flow」則是做了一個(gè)幫助開發(fā)者能更好開發(fā) App 的項(xiàng)目。

三等獎(jiǎng):都市探險(xiǎn)家

「都市探險(xiǎn)家」項(xiàng)目是一款利用地圖 LBS + 云信令 SDK + 實(shí)時(shí)音視頻構(gòu)建的社交產(chǎn)品。這款產(chǎn)品為想要尋找共同愛好的新朋友并一起在都市進(jìn)行旅游、探索的小伙伴而設(shè)計(jì)。

產(chǎn)品的使用十分簡單便捷,用戶注冊(cè)登錄后,通過 LBS 地圖會(huì)自動(dòng)更新用戶所在位置,只要點(diǎn)擊“發(fā)起任務(wù)”并選擇“探險(xiǎn)”人數(shù),用戶就可以與小伙伴進(jìn)行一次全新的都市探險(xiǎn)啦。

對(duì)于 RTE 場(chǎng)景而言,產(chǎn)品中實(shí)現(xiàn)了多人語聊房場(chǎng)景。并且,通過云信令 SDK 的使用結(jié)合了實(shí)際的業(yè)務(wù)場(chǎng)景,對(duì)于當(dāng)下的語聊房場(chǎng)景進(jìn)行了拓展。 產(chǎn)品未來也會(huì)接入視頻聊天的功能,讓沒有辦法即時(shí)出行的小伙伴也能共同參與到城市的探險(xiǎn)當(dāng)中。

環(huán)信專項(xiàng)獎(jiǎng):忘憂館

「忘憂館」是一個(gè)很有溫度的作品,希望可以幫助現(xiàn)代生活中的人們通過彼此傾訴忘掉煩惱、解除憂愁,傳播正能量。

這是一款陌生人社交 App,包含信息流。結(jié)合了幾種最常見的社交產(chǎn)品形態(tài),包括文字聊天,通話等等。讓一些不方便與親人和朋友訴說的煩惱,可以在和陌生人交流時(shí)找到共鳴與安慰。

優(yōu)秀獎(jiǎng):Vchat

「Vchat」利用人臉骨骼識(shí)別和云信令 SDK 實(shí)現(xiàn)了虛擬 3D 角色的實(shí)時(shí)通話。使用 tensorflow.js 的 WebGL 引擎作為后端,使用現(xiàn)有開源的人臉識(shí)別模型通過攝像頭識(shí)別人臉的位置以及五官的狀態(tài)。再通過 Three.js 和 Vrm.js 將人臉數(shù)據(jù)實(shí)時(shí)更新到虛擬的 3D 模型上。

在視頻部分,通過實(shí)時(shí)消息 RTM SDK 將人臉骨骼數(shù)據(jù)實(shí)時(shí)傳輸?shù)筋l道中讓其他用戶訂閱還原人臉。而語音部分則是通過 RTC SDK 將聲音進(jìn)行實(shí)時(shí)傳輸并讓用戶進(jìn)行訂閱??蓪?shí)現(xiàn)同步換臉、變聲聊天等功能。

除了上述的「Vchat」以外,還有「靈動(dòng)課堂答題組件」、「Agora X-Runtime」、「Weln」、「歡信(bla-bla.app)」、「智能AR毛筆臨摹教學(xué)系統(tǒng)/CopyTeachWorks」作品獲得了此次大賽“應(yīng)用創(chuàng)新賽道”的優(yōu)秀獎(jiǎng)。關(guān)于這些優(yōu)秀的作品可能沒有辦法在這里跟大家一一呈現(xiàn),感興趣的小伙伴可以前往我們的 Github 倉庫進(jìn)行查看:https://github.com/AgoraIO-Community/RTE-2021-Innovation-Challenge/tree/master/Application-Challenge

技術(shù)創(chuàng)新賽道

技術(shù)創(chuàng)新專項(xiàng)獎(jiǎng):人臉識(shí)別

「技術(shù)創(chuàng)新專項(xiàng)獎(jiǎng)」是為“技術(shù)創(chuàng)新賽道”專門設(shè)置的一個(gè)獎(jiǎng)項(xiàng)。獲獎(jiǎng)作品是一個(gè)在 iOS 平臺(tái)上使用使用 AgoraEngineKit2 開發(fā)接入一個(gè)基于 C++ 語言封裝的「人臉識(shí)別」插件。

作品通過 TYSMExtensionManger 類與對(duì)外交互,對(duì)內(nèi)則處理插件實(shí)現(xiàn)的相關(guān)邏輯。將 IExtensionProvider、IVideoFilter 和自己的開發(fā)的 Processer 都放在同一個(gè)地方。用 framework 方式對(duì)外公開兩個(gè)文件,既方便開發(fā)者查閱,同時(shí)也可作為作為參數(shù)傳遞,增強(qiáng)代碼可閱讀性。

該插件可以支持人臉檢測(cè)、追蹤、以及多臉的追蹤識(shí)別,對(duì)臉部輪廓、眼睛、眉毛、鼻子、嘴巴等識(shí)別到的區(qū)域以 3D 點(diǎn)狀作出反饋。

 

優(yōu)秀獎(jiǎng):Water Mask

「Water Mask」項(xiàng)目是“技術(shù)賽道”中的參賽作品,通過在聲網(wǎng) SDK 的視頻采集或者播放環(huán)節(jié),在 YUV 域上或者編碼后添加圖片或文字類型的隱性水印。

隱性水印(盲水印)添加后,用戶不能直接看到視頻中的水印信息。在保護(hù)視頻發(fā)布者版權(quán)的同時(shí),也保障了用戶的視頻觀看體驗(yàn)。未來,「Water Mask」還希望在音頻處理上,可以擴(kuò)展聲紋水印,在視頻版權(quán)追溯、認(rèn)證防偽等場(chǎng)景為行業(yè)帶來更多、更好的體驗(yàn)。

以上就是本屆 「RTE 2021 編程挑戰(zhàn)賽」的部分獲獎(jiǎng)作品及團(tuán)隊(duì)情況。關(guān)于本次挑戰(zhàn)賽的更多作品情況將開源在 Github,感興趣的小伙伴可前往進(jìn)行查看:https://github.com/AgoraIO-Community/RTE-2021-Innovation-Challenge

獲獎(jiǎng)團(tuán)隊(duì)除了會(huì)得到本季度大賽獎(jiǎng)金,還可以申請(qǐng)進(jìn)入聲網(wǎng)Agora 招聘綠色通道,以及在一年內(nèi)享受創(chuàng)業(yè)支持計(jì)劃的福利。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
編程語言
編程在線

相關(guān)文章

熱門排行

信息推薦