侵權投訴

Open Images Extended合集中引入了更具包容性的人物注釋MIAP數據集

硬件三人行 ? 2021-08-16 17:20 ? 次閱讀

發布人:Google Research 軟件工程師 Candice Schumann 和 Susanna Ricco

2016 年,我們推出了 Open Images。此協作版本包含約 900 萬張含有標簽的圖像,涵蓋數千個對象類別和 600 個類的邊界框注釋。從那之后,我們進行了多次更新,如將眾包數據發布到 Open Images Extended 合集,以此提高對象注釋的多樣性。

更新

https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html

Open Images Extended

https://storage.googleapis.com/openimages/web/extended.html

雖然這些數據集提供的標簽擴展性很強,但此類標簽并沒有關注人物的敏感屬性,這些屬性對于許多機器學習 (ML) 公平性任務(例如公平性評估和偏見緩解)至關重要。事實上,找到包含徹底標記此類敏感屬性的數據集是很困難的,尤其是在計算機視覺領域。

公平性任務

https://developers.google.com/machine-learning/crash-course/fairness/video-lecture

今天,我們在 Open Images Extended 合集中引入了更具包容性的人物注釋 (MIAP) 數據集。此合集包含更多完整的邊界框注釋,用于包含 10 萬張人物圖像中的的人物類層級結構。每個注釋還帶有可感知到的性別呈現和年齡范圍等公平相關屬性的標簽。作為 Responsible AI 研究的一部分,越來越多的人開始關注如何減少不公平偏見,我們希望這些注釋能夠激勵已經在使用 Open Images 的研究者,將公平分析納入他們的研究中。

Responsible AI 研究

https://ai.google/principles/

交叉描述通過為現有圖像-描述對和輔助描述添加語義相似度人工評分來擴展 MS-COCO 評估集(實線),并通過為新的圖像-描述、描述-描述和圖像-圖像對添加人工評分來提高評分密度(虛線)*

Open Images 中的注釋

原始 Open Images 數據集中的每個圖像都包含圖像級注釋(寬泛地描述圖像)和包圍特定對象的邊界框。為了避免對同一個對象繪制多個邊界框,我們從標簽候選集中臨時刪減了具體性較弱的類,我們將這一過程稱為層級去重。舉個例子,若一個圖像的標簽包括動物、 貓,和洗衣機則該圖像的注釋邊界框為貓和洗衣機,而不會注釋多余的類 ——動物。

圖像級注釋

https://cloud.google.com/vision/docs/labels

邊界框

https://cloud.google.com/vision/docs/object-localizer

MIAP 數據集可用于原始 Open Images 數據,集中人物 層級包含的五個類:人物、男人、女人、男孩、女孩。由于這些標簽的存在,Open Images 數據集對于推進 Responsible AI 的研究具有獨特的價值,能夠幫助開發者訓練通用的人物檢測器,訪問性別和年齡范圍特定的標簽,以實現公平分析和偏見緩解。

Responsible AI

https://ai.google/responsibilities/responsible-ai-practices/

人物檢測器

https://cloud.google.com/video-intelligence/docs/people-detection

然而,我們發現結合了層級去重和女人/女孩與男人/男孩之間的社會性區別后,原始注釋會受到限制。舉個例子,如果要求注釋器針對女孩這一分類繪制邊界框,它們便不會在圖像中的男孩周圍繪制邊界框。注釋器可能會也可能不會在某位女性周圍繪制邊界框,這取決于其對個人年齡的評估以及對女孩這一概念的文化性理解。此類判斷在不同圖像中可能會存在不一致,這取決于單獨的注釋器的文化背景、圖像人物的外表和場景的上下文。因此,某些圖像中的邊界框注釋會不完整,一些較為顯眼的人物沒有得到注釋。

MIAP 中的注釋

新的 MIAP 注釋旨在解決這些限制,實現讓 Open Images 成為推動機器學習公平性研究取得新進展的數據集的保障。我們不要求注釋器為層級結構中最具體的類(例如,女孩)繪制邊界框,而是將此程序反過來,要求它們為性別和年齡未知的人物分類繪制邊界框。

所有人物邊界框屆時都將獲得感知到的性別呈現(很大可能是女性、很大可能是男性,或未知)以及年齡呈現(青年、中年、老年,或未知)等標簽。我們認識到性別不是二元的,個人的性別認同可能與其感知或預期的性別呈現不符,為了緩解無意識偏見對注釋的影響,這里提示:注釋器,與性別呈現相關的規范因文化而異,且會隨時間的推移而變化。

這個過程添加了大量先前丟失的邊界框。

在包含人物的 10 萬張圖像中,人物邊界框的數量從 35.8 萬左右增加到 45.4 萬左右。各個感知性別呈現和感知年齡呈現的邊界框數量持續增加。這些新注釋為人物檢測器的訓練提供了更完整的基本事實,并提供了更準確的子組標簽,以將公平性納入計算機視覺研究。

預期用例

我們為人物邊界框的感知年齡范圍和性別呈現納入了注釋,因為我們認為有必要添加此類注釋,以便提高能力,實現更好的理解以及努力緩解并消除圖像理解領域,受保護子組之間的不公平偏見或不同性能。

我們注意到,標簽捕獲的性別和年齡范圍是第三方僅根據視覺線索,而不是個人的自我認知性別或實際年齡評估出來的。我們不支持也不容忍構建或部署根據這些注釋訓練的性別或年齡呈現分類器,因為我們認為在公平性研究之外使用這些技術的相關風險大于任何潛在好處。

風險

https://dl.acm.org/doi/10.1145/3173574.3173582

致謝

這項研究背后的核心團隊成員包括 Utsav Prabhu、Vittorio Ferrari 和 Caroline Pantofaru。同時,我們還要感謝 Alex Hanna、Reena Jana、Alina Kuznetsova、Matteo Malloci、Stefano Pellegrini、Jordi Pont-Tuset 和 Mahima Pushkarna 對本項目的貢獻。

編輯:jq

原文標題:最新進展:將包容性人物注釋納入 Open Image Extended 數據集

文章出處:【微信號:yingjiansanrenxing,微信公眾號:硬件三人行】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
分享:

評論

相關推薦

2021 Shanghai Makers 上海國際創客大賽

2021 Shanghai Makers 上海國際創客大賽 “數智共創,轉型共融” 你有天馬行空的奇....
的頭像 話說科技 發表于 09-18 16:36 ? 111次 閱讀
2021 Shanghai Makers 上海國際創客大賽

英特爾北京2022年冬奧會體驗中心:暢享創新科技開啟精彩奧運

2021年9月17日,北京 —— 2020年東京奧運會已圓滿落幕,全社會進入到為北京2022年冬奧會....
的頭像 話說科技 發表于 09-18 11:17 ? 293次 閱讀
英特爾北京2022年冬奧會體驗中心:暢享創新科技開啟精彩奧運

奧比中光重磅發布的iToF智能視覺平臺,擁有哪些核心能力?

9月16日-18日,第23屆中國國際光電博覽會在深圳國際會展中心盛大舉辦。行業領先的3D視覺感知技術....
發表于 09-18 11:09 ? 37次 閱讀
奧比中光重磅發布的iToF智能視覺平臺,擁有哪些核心能力?

芯片國潮 孕蕾、護花、促果:展銳深耕芯片“三步曲”

國貨“真香”之后,國潮也影響著越來越多人的購物車。 除了服飾、食品等消費品之外,大家肯定也希望看到一....
的頭像 腦極體 發表于 09-18 10:57 ? 832次 閱讀

“盤古”走向產業山巒,打開了一串AI落地的新腦洞

作為中國神話體系中最古老的神,盤古與其他創世神不同的地方,在于開天辟地之后,將自身化為承載華夏文明的....
的頭像 腦極體 發表于 09-17 20:50 ? 137次 閱讀

IBM攜手方正通用加速推進IBM混合云和人工智能新一輪數字化轉型

近年來 IBM 存儲技術不斷取得新突破。IBM FlashSystem 高性能閃存存儲解決方案通過整....
的頭像 IBM中國 發表于 09-17 17:50 ? 816次 閱讀

華為助力雁塔區打造人工智能“一中心四平臺”整體框架

未來人工智能計算中心上線儀式在陜西省西安市雁塔區未來產業城啟動。這是全國第二大人工智能計算中心,更是....
的頭像 華為計算 發表于 09-17 15:39 ? 657次 閱讀

北鯤云SaaS平臺加速生物制藥研發進程

統計數據顯示,新藥從研發到上市的平均時間是 13 年左右,投入非常巨大。在這個過程中,需要大量的計算....
發表于 09-17 14:52 ? 523次 閱讀

百度飛槳入鵬城,邀您共啟企業AI開發與實踐之路

深度學習技術得到廣泛應用的背后,除了大數據、大算力、預訓練模型的加持,高效便捷的深度學習框架也給開發....
發表于 09-17 12:01 ? 383次 閱讀
百度飛槳入鵬城,邀您共啟企業AI開發與實踐之路

NVIDIA A100 GPU助力德睿智藥加速創新藥物研發

德睿智藥是一家運用AI技術驅動藥物研發的科技公司,其自研的一站式AI藥物研發平臺Molecule P....
的頭像 NVIDIA英偉達企業解決方案 發表于 09-17 09:33 ? 148次 閱讀

花式催更!雅虎剛報道完FITURE魔鏡,日本市場健身鏡就來了

盡管2021年的余額還有那么100來天,但這個并不平凡的年份已經出現了太多足以進入全年盤點甚至是10....
發表于 09-16 17:31 ? 36次 閱讀
花式催更!雅虎剛報道完FITURE魔鏡,日本市場健身鏡就來了

NVIDIA DRIVE平臺如何用于自動駕駛汽車開發階段

Ali Kani介紹了AI如何用于自動駕駛汽車的所有開發階段——從訓練、測試和驗證汽車深度神經網絡數....
的頭像 NVIDIA英偉達 發表于 09-16 11:45 ? 1126次 閱讀

看展、尋寶、 拿榮耀手機……5G應用示范巡回展居然這么好玩!

你知道全場景5G應用示范區是什么樣的嗎? 為全面推進我市5G融合應用創新發展,打造全場景5G應用示范....
發表于 09-16 10:30 ? 77次 閱讀
看展、尋寶、 拿榮耀手機……5G應用示范巡回展居然這么好玩!

神童CEO涉嫌學歷造假慘遭官方打臉

電子發燒友網報道(文/黃山明)如果統計如今的公司CEO會發現幾個特點,要么是少年天才,要么是高知歸國....
的頭像 Simon觀察 發表于 09-16 08:54 ? 1247次 閱讀
神童CEO涉嫌學歷造假慘遭官方打臉

人工智能計算中心,助力數字經濟發展的算力“蟲洞”

在線教育、遠程醫療、居家辦公……種種數字經濟新應用的蓬勃發展,帶給全社會的改變超乎想象。因此疫情之后....
的頭像 腦極體 發表于 09-16 08:47 ? 530次 閱讀

已有4290家企業申報,2021金盾榜申報火熱進行中

9月14日,據2021金盾榜組委會透露,自9月1日第四屆金盾榜申報通道開啟后,歷時2周已有4290家....
的頭像 科訊視點 發表于 09-15 14:48 ? 121次 閱讀

極狐GitLab助力AI芯片企業DevOps體系建設

根據Forrester預測,全球AI制造平臺產值到2025年將達到130億美元。并將成AI軟件第一大....
的頭像 話說科技 發表于 09-15 12:56 ? 127次 閱讀

Cadence推出全面的終端側 Tensilica AI 平臺,加速智能系統級芯片開發

針對智能傳感器、物聯網 (IoT) 音頻、手機視覺/語音 AI、物聯網視覺和高級駕駛輔助系統 (AD....
發表于 09-15 11:53 ? 844次 閱讀

基于i.MX 8M Plus的康佳特模塊使Qseven的設計在未來獲得巨大的性能提升

功能強大的新型Qseven模塊基于i.MX 8M Plus應用處理器,具有1.8 GHz ARM C....
發表于 09-15 11:35 ? 2028次 閱讀
基于i.MX 8M Plus的康佳特模塊使Qseven的設計在未來獲得巨大的性能提升

iphone13起售價為5999元,A15的機器學習能力提升了50%

蘋果在發布會上自豪的表示“采用A15仿生芯片,進一步拉開與業界的差距”。強大的機器學習能力貫穿在芯片....
的頭像 倩倩 發表于 09-15 09:34 ? 214次 閱讀

蘋果發布會:十三真的香,你心動了沒有

iPhone 13系列外觀設計幾乎沒有什么變化,最大的變化就是攝像頭的部分排布以及攝像頭的模組的尺寸....
的頭像 倩倩 發表于 09-15 09:10 ? 1177次 閱讀

算法裁員,釋放出了哪些“惡之花”?

算法招聘不稀奇,現在利用AI算法來自動化處理海量簡歷篩選,已經是司空見慣的操作。但算法裁員,對于許多....
的頭像 腦極體 發表于 09-15 08:49 ? 601次 閱讀

什么牌子的學習機好,自主學習推薦優學派U80!

什么牌子的學習機好?在我認真輔導作業,卻多次被孩子質疑英語發音和數學解題方法后,我萌生了給孩子安排一....
的頭像 話說科技 發表于 09-14 16:39 ? 166次 閱讀
什么牌子的學習機好,自主學習推薦優學派U80!

新思科技PrimeSim可靠性分析解決方案加速任務關鍵型IC設計超收斂

經晶圓廠認證的全生命周期可靠性簽核有助于預防汽車、醫療和5G芯片設計中的過度設計和昂貴的后期ECO(....
發表于 09-14 10:22 ? 1469次 閱讀

人工智能和機器學習帶來新一代物聯網解決方案

自動化應用、前沿、視頻監控、智慧城市、醫療、汽車及交易活躍的市場。 人工智能和機器學習將為各行各業帶....
的頭像 易絡盟電子 發表于 09-14 10:04 ? 900次 閱讀

華為為上海交大提供極簡綠色智能安全的數據中心解決方案

而在“華為云WeLink”的幫助下,隨時溫故知新,再難的知識點也不是問題。老師們可以將日常授課形成在....
的頭像 華為 發表于 09-13 17:48 ? 1031次 閱讀

AI智能+3D打印在骨科手術的應用

音圈模組AI智能+3D打印 “導航”骨科手術。每當我們生病,都會被折磨的不行,近日,,讓56歲的張阿....
發表于 09-13 13:55 ? 18次 閱讀

符合IEPE標準的CbM機器學習賦能平臺

CbM需要捕獲全帶寬數據,以確保時域和頻域中的所有諧波、混疊及其他機械相互作用都得到考慮。這種數據收....
發表于 09-13 12:45 ? 3407次 閱讀
符合IEPE標準的CbM機器學習賦能平臺

攀巖時代:HMS Core 6.0與移動開發之路

今年的東京奧運會中,一些全新運動項目首次進入奧運是一大看點。其中就包括科技界經常用以比喻自己的:攀巖....
的頭像 腦極體 發表于 09-13 12:06 ? 1076次 閱讀

2021世界機器人大會 金大智能展位科技成果實力吸睛

9月10日上午,2021世界機器人大會在北京開幕。北京市委書記蔡奇,全國政協副主席、中國科協主席萬鋼....
的頭像 話說科技 發表于 09-13 11:35 ? 266次 閱讀
2021世界機器人大會 金大智能展位科技成果實力吸睛

有方科技上半年:電力、車聯網業務釋放增長動力 營收同比增長48%,

電子發燒友網報道(文/莫婷婷)近期有方科技發布了2021年上半年報告。報告顯示,有方科技實現營業收入....
的頭像 電子發燒友網 發表于 09-13 10:24 ? 305次 閱讀

國產高性能GPGPU的破局點是什么?

GPU誕生的原因是人們需要更好地處理3D游戲中的圖形渲染,因此GPU擁有很多很小的內核增加并行處理能....
發表于 09-13 07:38 ? 871次 閱讀
國產高性能GPGPU的破局點是什么?

雖遲但到!Facebook正在為機器學習和視頻轉碼開發自研芯片

近日,外媒The Information報道稱,有兩位消息人士透露,Facebook正在開發一種機器....
的頭像 Hobby觀察 發表于 09-12 07:28 ? 1699次 閱讀

華為全棧自主AI基礎軟硬件平臺賦能遙感科研及行業應用發展

2021年9月8日上午,由西安電子科技大學和昇騰AI共同舉辦的智能遙感技術合作研討會在西安成功舉辦。....
的頭像 華為計算 發表于 09-11 09:37 ? 1249次 閱讀

偉大時代呼喚偉大自主創新-熱烈祝賀偉景人形智能機器人正式發布

說到服務機器人讓您最先想到的是什么?送餐機器人還是物流倉儲機器人?會跳舞的機器人或能編程的機器人? ....
發表于 09-10 18:02 ? 37次 閱讀
偉大時代呼喚偉大自主創新-熱烈祝賀偉景人形智能機器人正式發布

座頭鯨基于LoRa?的網關式智能產品賦能冷鏈物流行業物聯新基建

由座頭鯨自主開發的“AI+冷鏈全域智能管控系統”是覆蓋冷鏈產業全流程的端到端解決方案,其核心功能模組....
發表于 09-10 17:40 ? 483次 閱讀
座頭鯨基于LoRa?的網關式智能產品賦能冷鏈物流行業物聯新基建

NVIDIA醫療大數據解決方案助力醫療數據處理效率突破百倍提升

在NVIDIA A100 Tensor Core GPU和NVIDIA TensorRT強大的AI算....
的頭像 NVIDIA英偉達企業解決方案 發表于 09-10 15:11 ? 1690次 閱讀

華為推動陜西人工智能產業數字化與智能化加速發展

9月9日上午,未來人工智能計算中心上線儀式在西安雁塔區未來產業城啟動。陜西省市區直屬相關部門領導出席....
的頭像 華為數字中國 發表于 09-10 14:40 ? 1180次 閱讀

怎樣去設計一種基于51單片機的溫度報警系統

提示:文章寫完后,目錄可以自動生成,如何生成可參考右邊的幫助文檔文章目錄前言        一、pa...
發表于 09-10 06:54 ? 0次 閱讀

告別朋友圈躺平!移動云人工智能助你跑贏職場!

從阿爾法狗的人機大戰 到AI換臉黑科技 人工智能逐漸走進生活 可提起它 你的反應是 不了解就虧大了 ....
的頭像 話說科技 發表于 09-09 15:48 ? 278次 閱讀
告別朋友圈躺平!移動云人工智能助你跑贏職場!

曠視積極探索AI助力碳減排落地場景

9 月 7 日,曠視受邀出席首屆中國數字碳中和高峰論壇,并參與聯合發起數字空間綠色低碳行動倡議。曠視....
的頭像 曠視MEGVII 發表于 09-09 15:00 ? 1299次 閱讀

廣二醫院與華為全場景智能醫院建設助力醫療行業數字化轉型

遠程醫療只是廣二醫”打造新基建時代可持續發展的全場景智能醫院”戰略的一個場景。今年3月,廣二醫攜手華....
的頭像 華為 發表于 09-09 14:31 ? 2926次 閱讀

Microchip推出業界最緊湊的1.6T以太網PHY可為云數據中心、5G和AI提供高達800 GbE的連接性

 通過轉換到112G PAM4接口速率,META-DX2L使路由器、交換機和線卡的帶寬翻倍。
發表于 09-09 11:56 ? 2333次 閱讀
Microchip推出業界最緊湊的1.6T以太網PHY可為云數據中心、5G和AI提供高達800 GbE的連接性

一個快速切入全新百億美元市場的方法

不論是創業還是就業,首選需要選擇一個賽道,因為一個天花板高的賽道可以給你更大的成長空間。如今有一個全....
的頭像 電子發燒友網 發表于 09-09 10:58 ? 1727次 閱讀

大型工程項目的可視化需求提高

Studio 4D使用NVIDIA RTX和DLSS為工程項目National Landing的首席....
的頭像 NVIDIA英偉達企業解決方案 發表于 09-09 10:49 ? 267次 閱讀

IP知識百科之AI防火墻

AI防火墻 AI防火墻是NGFW的下一代產品,通過智能檢測技術提升防火墻對高級威脅和未知威脅的檢測能....
的頭像 華為產品資料 發表于 09-08 18:18 ? 2245次 閱讀

凌華科技推出邊緣視覺分析軟件開發套件EVA SDK加速邊緣AI視覺

凌華科技AI視覺產品已預先安裝EVA SDK軟件平臺,通過直觀的圖形用戶界面(GUI)和即用型插件,....
發表于 09-08 14:19 ? 951次 閱讀
凌華科技推出邊緣視覺分析軟件開發套件EVA SDK加速邊緣AI視覺

不甘被中美日超越,歐盟終于在HPC上下血本

要說起超級計算機,多數人想到的都是日本的富岳、美國的Summit和中國的神威·太湖之光,卻很少想到歐....
的頭像 E4Life 發表于 09-08 09:38 ? 1724次 閱讀
不甘被中美日超越,歐盟終于在HPC上下血本

施耐德電氣發布“五大“碳中和服務成果

在9月2日至7日舉辦的2021中國國際服務貿易交易會(服貿會)上,全球能源管理和自動化領域的數字化轉....
的頭像 話說科技 發表于 09-08 09:24 ? 230次 閱讀
施耐德電氣發布“五大“碳中和服務成果

探討一下關于電機軸承的數據集

這篇和大家探討一下關于電機軸承的數據集電機軸承的數據集目前較多采用的是CWRU(凱斯西儲大學軸承數據中心)這是一個針對于...
發表于 09-08 06:52 ? 0次 閱讀

大聯大詮鼎集團推出基于NOVATEK產品的安防監控解決方案

大聯大控股宣布,其旗下詮鼎推出基于聯詠科技(NOVATEK)NT98528芯片的安防監控解決方案。
發表于 09-07 16:22 ? 1063次 閱讀
大聯大詮鼎集團推出基于NOVATEK產品的安防監控解決方案

高性能的機器學習讓邊緣計算更給力-iMX8M Plus為邊緣計算賦能

在科技日新月異的當今社會,人工智能 (AI) 的研究工作已取得驚人進展,計算機的用途也在不斷拓寬。 機器在執行某些任務時比起...
發表于 09-07 13:55 ? 101次 閱讀

人工智能基本概念機器學習算法

目錄人工智能基本概念機器學習算法1. 決策樹2. KNN3. KMEANS4. SVM5. 線性回歸深度學習算法1. BP2. GANs3. CN...
發表于 09-06 08:21 ? 0次 閱讀

基于計算機視覺的車身焊接機器人路徑校正裝置的制造方法

基于計算機視覺的車身焊接機器人路徑校正裝置的制造方法【技術領域】[0001]本實用新型涉及一種基于計算機視覺車身焊接機器人路徑...
發表于 09-02 08:36 ? 0次 閱讀

如何對智能車進行改進

前言時間還剩下10天,我們的時間很短,我們不得不改變策略策略,我們將跑的過程交給         &nb...
發表于 09-01 07:20 ? 0次 閱讀

機器學習的基礎內容

文章目錄前言一、pandas是什么?二、使用步驟1.引入庫2.讀入數據總結前言提示:這里可以添加本文要記錄的大概內容:例如:隨著人...
發表于 08-20 08:07 ? 0次 閱讀

ECG:機器學習之預處理算法與R波定位算法(附部分代碼)精選資料推薦

目前網上有關ECG信號處理的文章越來越多,說明這一塊做的人也越來越多,但是網上的資源卻很有限,而且很多資源都有一定的缺陷...
發表于 08-18 07:03 ? 0次 閱讀

介紹機器學習的基礎內容

系列文章目錄提示:這里可以添加系列文章的所有文章的目錄,目錄需要自己手動添加例如:第一章 Python 機器學習入門之pandas的使...
發表于 08-13 07:39 ? 0次 閱讀

Python機器學習入門之pandas的使用提示

系列文章目錄提示:這里可以添加系列文章的所有文章的目錄,目錄需要自己手動添加例如:第一章 Python 機器學習入門之pandas的使...
發表于 08-13 07:36 ? 0次 閱讀
免费无限看黄app_蜜柚app官网下载入口_成版人黄瓜app