현재 시각화 검색은 정보 과학 분야의 최전선 과제가 되었으며, 주로 실제 실체 속성, 동작, 이벤트 및 시각화 빅 데이터 자원 간의 발전 법칙을 분석하고 연구하는 데 사용되고 있습니다. 시각화 대용량 데이터 자원의 수집, 구성, 설명 및 활용을 위해 시각화 자원과 시공간적 관련 정보 간의 가치 발견 및 자원 통합을 위한 내부 메커니즘을 연구합니다.

현재 시각화 검색은 정보 과학 분야의 최전선 과제가 되었으며, 주로 실제 실체 속성, 동작, 이벤트 및 시각화 빅 데이터 자원 간의 발전 법칙을 분석하고 연구하는 데 사용되고 있습니다. 시각화 대용량 데이터 자원의 수집, 구성, 설명 및 활용을 위해 시각화 자원과 시공간 관련 정보 간의 가치 발견 및 자원 통합의 내부 메커니즘을 연구하고 다차원 상관 관계 및 협업 통합 문제를 해결하여 시각화 대용량 데이터 자원의 효과적인 통합, 지식 검색 및 실시간 상호 작용을 실현합니다.

이를 바탕으로 본 연구는 정보학의 시각에서 시각검색 연구의 기원부터 시작해 발전 과정, 개념, 특징을 설명하고, 이론과 응용 연구의 몇 가지 주요 문제를 검토하며, 최신 연구의 진척과 응용을 간략하게 논술하였다.

1. 빅 데이터 환경에서의 시각적 검색 개발 및 특성

1..1에 대한 질문 제기

시각적 검색은 새로운 명사가 아닙니다. 심리학 및 생리학 분야에서 가장 먼저 등장한 것으로, 시각 채널을 통해 특정 목표가 특정 영역에 나타나는지 여부를 감지한 후 위치를 결정하는 행동을 설명합니다. 예를 들어, 지도에서 대학 위치를 찾거나, 식당에서 주문하거나, 책꽂이에서 책을 찾거나, 도서관에서 사람을 찾습니다. 현실 세계에서 사람들은 다음 단계의 언어와 행동을 결정하기 위해 복잡한 물리적 환경에서 시각적 검색을 사용하여 귀중한 정보를 얻어야 하는 경우가 많습니다. 이에 따라 시각검색 이론은 심리학자와 인인인학자들의 광범위한 관심을 받았고, 대량의 연구는 인간의 시각인식과 생리피드백 메커니즘에 대한 이해와 표현에 초점을 맞추고 있으며, 대량의 응용과 이론 지식을 총결했다. 바로 시각 검색의 가용성과 효과 때문에 많은 일, 산업, 분야가 이런 생리적인 행동을 빼놓을 수 없다.

관련 기본 이론과 핵심 기술이 지속적으로 발전하고 보완됨에 따라 전통적인 시각적 검색 애플리케이션은 정보화, 기술화 및 네트워킹의 방향으로 발전하고 있습니다. 전통적인 시각적 검색 동작을 "WYSIWYG-what-you-see" 시각적 검색 패턴으로 변환하는 방법은 점차 사람들 앞에 놓여 있습니다. 동시에, 네트워크 환경, 정보 기술, 컴퓨팅 성능, 스토리지 공간, 데이터 규모, 하드웨어 및 소프트웨어 시설의 급속한 개선은 객관적인 물리적 세계와 가상 네트워크 공간 사이에 불가분의 관계를 구축하여 시각적 검색 기술의 실현을 가능하게 했습니다. 사람들은 객관적인 물리적 세계에서 시각적 객체를 빠르고 쉽게 수집하고 인터넷에서 관련 정보를 얻을 수 있습니다.

1.2 시각적 검색 개발 과정 및 동향

최근 몇 년 동안 빅 데이터 환경이 점차 개선되고 빅 데이터 기술이 급속히 발전함에 따라 시각화 자원 통합 및 시각화 검색 연구에 대한 목소리가 높아지고 있습니다. 자연' 과' 과학' 은 각각 2008 년과 20 1 1 에서 빅 데이터에 대한 특집 연구를 발표했고, 이미지, 비디오, 사용자 상호 작용 정보를 제시하는 것은 미래의 빅 데이터의 중요한 구성 요소다. 2009 년 스탠포드 대학의 Griod 및 Chandrasekhar 와 같은 학자들은 정보 검색 분야에 시각적 검색 이론을 도입하여 시각적 검색과 모바일 비주얼 검색 등의 개념을 제시하고 첫 번째 모바일 비주얼 검색 세미나를 개최하며 아키텍처, 애플리케이션 및 서비스 모델에 대해 논의했습니다. 20 10 년 전 구글 기술연구부 책임자인 노비그 (Norvig) 가 네이처 잡지에 발표한' 2020Visions' 에서 "텍스트, 이미지, 동영상 등 시각 자원, 사용자 상호 작용 정보 및 같은 해 베이징대 고문, 황철군, 문단은 이를 중국에 도입하고 제 2 회 모바일 시각 검색 세미나를 열어 핵심 기술, 아키텍처, 시각 자원의 조직 및 설명 방법, 시각 자원의 표준화, 시각 지식 기반 구축에 대해 논의했다. 20 12 년, 이 이론과 기술은 중국 컴퓨터연합회에 의해 빠르게 받아들여졌으며, 시각 검색과 증강 현실 기술이 결합된 정보 검색 모델은 검색 엔진에 이어 차세대 인터넷 서비스 패러다임이 될 것으로 보고 있다. 이후 장흥, 주청화 등은 이를 디지털 도서관 분야에 도입하여 관련 이론과 응용 모델을 중심으로 연구를 진행하려 했다.

시각 검색 연구의 발전 궤적을 보면 국내 시각 검색에 대한 연구는 아직 탐구와 시도 단계에 있으며, 연구 궤적은 기본적으로 초기 이론 시도 과정을 뛰어넘어 중기 기술과 응용 탐구 단계에 접어들고 있다. 특히 우리나라 과학기술부는 20 1 1 에서 국가 중점 기초 연구 개발 계획 ('973' 계획)' 공안을 위한 크로스 미디어 컴퓨팅 이론과 방법' 을 시작해 미디어 시각 자원의 통일된 표현과 모델링 방법, 관계 추리와 심도 발굴, 통합 검색 및 내용을 연구하고 있다. 20 15 이후 시각적 검색 이론 및 응용 연구의 중요성과 필요성이 더욱 두드러졌습니다. 국무부가 20 15 년 9 월 발표한' 빅 데이터 개발 추진 행동 계획' 은 빅 데이터를 최대한 활용하고, 도메인 데이터 자원 수집 및 활용 능력을 향상시키고, 다양한 데이터 및 자원 통합을 추진한다. 국무부 2065438+2005 년 7 월 발표한' 인터넷+'행동 추진에 대한 지도 의견' 은 "음성, 이미지, 비디오, 지도 등 데이터를 포함한 대규모 교육 자료 구축, 인공지능 기초자원, 공공서비스 등 혁신적인 플랫폼 건설 강화" 를 제안했다. 국가 자연과학 중대 연구 프로그램' 빅 데이터 중심 관리 및 의사 결정 연구' 는' 빅 데이터 가치의 생성 메커니즘과 변환 법칙은 응용 분야에 크게 의존한다' 고 판단했다. 과학기술부 20 16 이 발표한' 20 16 년도 국가중점 R&D 프로그램, 정밀의학 연구 등 중점 프로젝트 신고 가이드 발행 통지' 의' 클라우드 컴퓨팅 및 빅 데이터 중점 프로젝트' 에서 이를 중점 연구 내용 중 하나로 명시했다.

1.3 시각화 검색 시각화 대형 데이터 자원의 연구 대상 및 특성

시각 검색에 대한 연구는 정보 검색 분야의 주요 연구 추세로 점차 발전해 왔다. 지금까지 시각적 검색의 정의는 아직 통일된 인식을 형성하지 못했지만, 정보 검색의 관점에서 볼 때, 그에 대한 일반적인 이해는 객관적인 물리적 세계의 시각 자원을 검색 대상으로 인터넷을 통해 관련 정보를 얻는 일종의 정보 검색 방식을 가리킨다. 대형 데이터 자원 및 관련 정보를 시각화하는 것을 연구 대상으로 하며, 대형 데이터 자원의 수집, 분석, 구성, 이해 및 표현 방법을 시각화하는 것을 주요 연구 내용으로 하고, 정보 기술 및 방법을 주요 연구 수단으로 삼고 있습니다. 시각화 대형 데이터 자원에 포함된 지식 가치를 발견하고 그 활용 능력을 주요 연구 목표로 확장하는 종합적이고 응용적인 첨단 분야입니다. 현재 대규모 데이터 환경에서 대량, 이기종, 동적 무질서, 고속 진화된 시각화 자원의 분석 및 활용에 중점을 두고 있습니다. 빠르게 발전하는 정보 기술을 최대한 활용하여 대규모 데이터 자원의 이해와 표현을 시각화하는 방법, 시각화 검색을 효과적으로 구현하는 방법, 시각화 검색 기술을 활용하여 대량 시각화 대용량 데이터 자원에서 새로운 지식을 발견하는 방법에 초점을 맞추고 있습니다.

미래가 지혜 (또는 인터넷+) 의 시대라는 것은 의심의 여지가 없다. 스마트 지구, 스마트 도시, 스마트 도서관 등 이론과 응용의 빠른 발전은 시각적 검색 이론과 응용 연구에' 옥토' 를 제공한다. 인터넷 인터넷 Plus) 시대에서 파생된 데이터의 규모가 급격히 증가함에 따라 텍스트, 이미지, 오디오 비디오, 사용자 상호 작용 정보 및 다양한 감각 정보가 인류의 시각 채널에서 80% 이상 발생하는' 데이터 해양' 의 주류가 될 것입니다. 이 단계에서' 인터넷+'시대의 정보 검색과 지식 서비스의 미래 발전을 파악하는 가장 중요한 수단은 시각적 검색일 수 있다.

시각화 대용량 데이터 자원에는 텍스트, 이미지, 오디오 비디오 등 복잡하고 무질서한 동적 시공간 정보 및 사용자의 시청 기록이 포함되어 있어 디지털 도서관에서 가장 풍부한 정보 전달체가 될 수 있습니다. "인터넷+"시대의 가장 중요한 정보 표현 및 정보 전파 매체가 될 것입니다. 시각화 빅데이터 자원을 연구 대상으로 하는 시각화 검색. 전자지식공간의 지식실체와 지식가치가 시간, 공간, 속성에 각각 특징이 있기 때문에 시각화 검색도 복잡하고 무질서하며, 동적 변화와 시공간의 의미적 연관성의 특징을 보여 줍니다. 또한 시각화 빅데이터 자원의 형식화 표현, 체계적인 조직, 구조적 설명, 시공간적 연관 분석 방법을 연구해야 한다. 시각화 빅 데이터 자원의 주요 특징은 다음과 같습니다.

시각적 대용량 데이터 자원에는 텍스트, 이미지, 비디오, 사용자 보기 정보, 사용자 상호 작용 정보 등의 시공간 정보가 포함되며, 여기에는 시각적 객체, 사물의 내용 및 이벤트 프로세스가 시간, 공간 및 의미적으로 시간 또는 시공간적 종속성이 있습니다.

시각화 대용량 데이터 자원은 시공간의 의미 연관, 동적 변화, 데이터 규모, 구조적 복잡성 등의 특징을 가지고 있습니다. 시각적 객체, 사물 내용 및 이벤트 프로세스에 기반한 이러한 동적 변화는 시공간의 의미 연관으로 표현되고 설명될 수 있으며, 획득, 구성 및 설명 프로세스는 기계 언어로 표현될 수 있습니다. 시각화 객체, 트랜잭션 내용 및 이벤트 프로세스 간의 의미 연관 매핑을 통해 큰 데이터 리소스를 시각화하는 시공간 의미 관계를 설정할 수 있습니다.

시각화 대용량 데이터 자원은 데이터 규모, 구조적 복잡성, 유형 다양성, 다차원 스케일 연관, 심도 위도 등의 특징을 가지고 있습니다. 대형 데이터 자원을 시각화하는 시공간의 의미 관계에 따라 적절한 스케일 연관 메커니즘을 설정할 수 있습니다. 다양한 스케일, 다양한 심도 위도의 시각적 대형 데이터 자원에 대한 시공간적 연관성, 시각화 객체, 사물 내용, 이벤트 프로세스 간의 다차원 스케일 변환 및 재설정을 통해 대규모 데이터 자원을 시각화하는 의미 연관 분석을 실현할 수 있습니다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 예술명언)

시각적 대용량 데이터 자원은 시각적 자원을 제공하고, 시각적 객체의 동작을 이해하며, 시각적 객체의 시공간적 의미 관계에 따라 발전 추세를 모델링하고, 효과적인 구성, 이해 및 설명을 통해 특정 사물이 특정 단계에서 발생할 수 있는 행동을 예측할 수 있습니다.

시각화 대용량 데이터 자원에 대한 수집, 구성, 이해 및 설명을 통해 시각화 대용량 데이터 리소스에 대한 실시간 상호 작용 및 피드백 및 시각화 객체 지식 기반을 구축할 수 있습니다. 시각 개체의 유사한 행동 특성, 시공간 관련성 및 실시간 상호 작용 결과에 따라 디지털 도서관 사용자의 다양한 지식 서비스 요구를 충족하기 위해 새로운 시각 자원을 제작, 생산, 운영 및 소비하는 데 도움을 줍니다.

2. 빅 데이터 환경에서 시각적 검색의 응용 및 조직 패턴.

시각화 대용량 데이터 자원은 구성, 분석, 처리 및 통합을 거쳐 특정 분야에 기반한 디지털 도서관 시각화 검색 플랫폼을 구축해야만 사용자에게 대용량 데이터 지식 서비스를 제공할 수 있습니다. 분야별, 분야별 시각화 검색 패턴마다 다양한 시각화 대용량 데이터 자원 수집, 구성, 처리, 통합 모델이 있습니다. 이 때문에, 현재의 응용 프로그램의 대부분은 지식 서비스 및 정보 검색의 관점에서, 도메인 지향 시각화 대형 데이터 자원 통합 플랫폼을 구축, 시각화 검색을 통해 시각화 대형 데이터 자원을 효과적으로 관리 및 활용, 특정 분야, 전문 분야, 분야의 지식 서비스 요구 사항에 따라 서비스를 제공합니다. 다양한 대형 데이터 지식 서비스 요구 사항을 충족시킬 수 있습니다.

2. 1 심화 학습을 기반으로 한 비주얼 검색 산업 애플리케이션 모델

전통적인 시각 검색 연구는 주로 인공치수기입 방법을 사용하여 시각 자원의 기본 특징을 표기한 다음, 기계 학습 방법을 사용하여 시각 자원 간의 의미 격차, 이기종 격차, 의미 연관 등의 문제를 해결한다. 인공 태깅을 기반으로 한 시각화 대용량 데이터 자원 통합 활용 방법을 통해 주석자는 풍부한 전문 지식과 업계 애플리케이션 경험을 갖추고 많은 시간과 인건비를 소모하며 정확도가 낮아야 합니다. (윌리엄 셰익스피어, Northern Exposure (미국 TV 드라마), 예술명언) 시각 자원 특성의 수동 치수 지정 방법과 달리, 심도 있는 학습은 일반적으로 시각적 자원 특징을 기반으로 하는 다중 계층 신경망 훈련이며, 시각적 특징을 학습하여 시각적 특징에 대한 더 합리적이고 차별화된 이해와 설명을 얻습니다. 심도 분석 방법으로 추출한 시각적 특징이 이미지 분류 인식, 시각적 장면 인식, 지능형 모니터링, 음성 인식, 지식지도 제작 등의 응용 분야에서 성공한 것으로 나타났다. 시각 자원의 뚜렷한 특징 추출 및 분할 방법은 인간의 시각 시스템과 생리인지 시스템을 시뮬레이션하여 시각 자원의 뚜렷한 특징 영역을 추출할 수 있습니다. 현재 비교적 가장 좋은 시각 자원 특징 추출 방법, 개방된 시각 대형 데이터 자원 데이터 세트에서 95% 정도의 뚜렷한 특징 감지 정확도와 거의 92% 의 전경 특징 분할 정확도를 갖추고 있으며, 최근 몇 년 동안 다양한 대규모 글로벌 시각 자원 분석 인식 대회에서 여전히 개선되고 있습니다. 예를 들어, 대규모 시각적 인식 챌린지 (ILSVRC) 에서 구글 연구팀은 향상된 심도 컨볼 루션 네트워크 구글 넷을 사용하여 이미지 인식의 정확도를 93% 로 높였습니다. 구글팀은 심도 분석에 기반한 이미지 특징 추출 방법을 이용해 마이크로소프트 이미지 제목 생성 챌린지 (MS COCO ICC) 1 등상을 수상했다. 시드니 과학기술대, 카네기멜론 대학, 마이크로소프트 아시아연구원, 저장대는 심도 분석 방법과 시각 대상의 운동 특징을 결합해 시각자원의 움직임을 파악해 각각 상위 3 위를 차지했다.

전통 학술 연구의 이론적 성과는 종종 오랜 시간이 걸려야 점차 성숙해지고 실제 산업 응용에 들어갈 수 있다. 그러나 심화 학습이든 시각적 검색이든 강력한 엔지니어링 이론 모델이 있다. 한편으로는 학계에 의해 연구되는 동시에 공업계의 관심과 시도를 받고 있다. 반면에, 구글, 바이두, 마이크로소프트 등과 같은 산업 분야 때문입니다. ) 대규모 시각화 대용량 데이터 자원을 오랫동안 보유하고 있으며 여러 정보학 분야의 연구 최전선에서 활발히 활동하고 있으며, 많은 분야에서 학계보다 우위를 점하고 있습니다. 구글의 지식지도, 구글 노우, 구글 스트리트 뷰 지도, 마이크로소프트의 음성 보조자인 코르타나, 아이치예의 뇌, 페이스북의 지도 검색은 모두 산업 시각 검색의 고전적인 응용 사례다. 사실 구글, 페이스북, 마이크로소프트와 같은 외국 주요 산업회사들은 시각적 검색뿐만 아니라 내부에도 전문 연구기관을 설립했으며, 국내 바이두, 화웨이, 텐센트, 알리바바바바바도 예외가 아니다.

2.2 지식 계산에 기반한 시각적 검색 지식 서비스 모델

디지털 도서관 분야의 시각적 검색 이론과 응용을 연구하는 중요한 목적 중 하나는 고교와 과학연구기관의 연구원에게 임베디드 협업 지식 서비스를 제공하는 것이다. 디지털 도서관 시각화 검색 플랫폼은 대량의 시각화 대용량 데이터 자원과 플랫폼이 제공하는 시각화 대용량 데이터 자원의 구성, 분석 및 처리 기능을 지식 서비스 프로세스에 내장하고 있습니다.

시각화 빅데이터 자원의 통합과 활용은 국내외 인공지능 및 정보 검색 분야의 연구 핫스팟으로, 매우 광범위한 응용과 연구 전망을 가지고 있다. 사실, 시각적 검색의 연구 분야로서 최근 몇 년 동안 많은 개인 (예: 중과원 고공, 베이징대 고문황철군, 남경대 주청화), 기관 (예: 저장대, 청화, 북경대학교, 중과원 계산 등) 이 있었다. ) 와 기업 (예: 아이치예, 바이두, 텐센트, 360, 써우거우 등) 은 모두 관련 연구를 하고 있으며, 미국 매사추세츠 공대, 캘리포니아 버클리 분교, 일리노이 대학, 영국 옥스포드 대학은 이미지 콘텐츠 기반 이미지 검색 시스템을 개발했습니다.

위의 모든 관련 연구에서 일반적인 연구 특징이 있습니다. 연구의 목적은 시각적 검색의 응용 문제를 해결하는 것입니다. 해당 시각적 검색 패턴은 대부분 지식 계산을 기반으로 합니다. 시각화 검색에서 구성, 분석 및 처리가 필요한 대상은 주로 텍스트, 이미지, 비디오 등 많은 가치를 담고 있는 시각화 리소스로, 대형 데이터 자원 시각화에서 가치 있는 지식을 얻는 방법이 외국 학술계와 공업계의 연구 핫스팟이 될 수 있습니다. 시각화 빅 데이터 리소스에 포함된 풍부하고 복잡한 지식을 탐색하기 위한 기술 자료를 시각화 객체 기술 자료라고 합니다. 현재 텍스트, 이미지, 오디오, 비디오 등의 시각적 리소스를 기반으로 하는 지식 기반은 60 가지가 넘습니다. 이러한 시각적 개체 지식 기반을 기반으로 하는 구체적인 응용 사례와 시스템 플랫폼은 수백 가지가 있습니다. 이 가운데 일반적인 응용 사례는 위키피디아의 dbpedia (버전 20 14 에는 8 만 7 천 편의 영화,12 만 3 천 개의 기록, 45 만 개의 대상 등이 포함되어 있다. ), 구글의 지식지도 (랜드마크, 도시, 인명, 건축, 영화, 예술품 등 5 억 개의 검색 결과 실체와 350 억 개의 관련 지식 항목 포함), 페이스북지도 검색 (1 억 사용자 포함, 2400 억 장의 사진,/Kloc 포함) ).

시각화 검색과 관련된 이론과 기술을 통해 방대한 이기종 다양한 시각화 빅 데이터 자원을 연구하면 정보 검색의 외연과 내포를 풍부하게 할 수 있을 뿐만 아니라 현재 디지털 도서관이 직면하고 있는' 빅 데이터, 지식, 서비스 감소' 의 병목 현상을 효과적으로 해결할 수 있으며, 어느 정도 응용가치와 현실적 의의를 가지고 있다.

2.3 시맨틱 분석에 기반한 비주얼 콘텐츠 연관 조직 모델

기존 연구에서 시각적 검색의 연구 대상은 대부분 텍스트와 이미지에 집중되어 있는데, 그 중 이미지 검색은 학자들의 노력의 중점이다. 시각적 검색에 대한 연구는 세 단계로 나눌 수 있다. 하나는 텍스트/메타데이터를 기반으로 한 이미지 검색으로, 1970 년대 후반에 시작되었다. 이 방법은 주로 메타데이터를 수동으로 표시하여 이미지를 설명하고 이미지의 정보 검색 기능을 구현하는 것입니다. 단점은 메타데이터 마크업은 시간이 많이 걸리고, 설명 기준과 피드백 내용이 불완전하며, 주관적인 색채를 너무 많이 띠기 쉽다는 것이다. 둘째, 시각적 내용에 기반한 이미지 검색 방법은 1990 년대에 제기됐다. 이 방법의 본질은 이미지의 기본 시각적 특징을 수동으로 구성하여 이미지 유사성을 비교함으로써 이미지 검색을 실현하는 것입니다. 단점은 이미지 밑바닥의 시각적 특징과 고위층 의미 사이의 의미 격차가 잘 해결되지 않았다는 것이다. 세 번째는 20 세기 초에 제기된 심도 있는 학습에 기반한 이미지 검색 방법이다. 소셜 네트워크와 사용자가 생성한 콘텐츠가 네트워크 데이터의 주요 소스가 되었습니다. 사용자 태그를 사용하여 이미지 의미를 구성, 표현 및 이해하는 것이 연구의 주류가 되었으며, 심도 있는 학습 방법이 관련 분야에 통합되었습니다.

비디오 표현 및 분석은 이미지 검색에 비해 시각적 검색에서 비교적 새로운 연구 분야입니다. 비디오는 많은 수의 이미지 프레임으로 구성되어 있으며, 이미지 프레임 사이에는 시공간과 의미적 연관성이 밀접하게 연관되어 있어 시각적 검색 기술에 대한 요구가 높습니다. 그러나 텍스트 및 이미지 검색 분야에서 심도 있는 학습의 성공으로 인해 학자들은 심도 있는 학습 프레임워크를 통해 비디오, 특히 비디오 피쳐 추출의 핵심 부분을 구성, 이해 및 설명하기 시작했습니다. 하나는 비디오 정적 키프레임 기능 설명입니다. 비디오는 시계열과 의미 연관으로 구성된 많은 수의 이미지 프레임으로 구성되기 때문에 심도 있는 학습을 통해 정적 비디오 프레임 (즉, 이미지 키프레임) 의 특징을 배울 수 있습니다. 특정 응용 프로그램에서 적절한 정적 키프레임 추출 및 인코딩 방법을 결정하면 좋은 비디오 설명 효과를 얻을 수 있습니다. 두 번째는 동적 비디오 타이밍 특성에 대한 설명입니다. 일부 학자들은 영상을 분석하기 위해 밀집궤도법을 제시하여 좋은 효과를 거두었다. 셋째, 처음 두 가지 방법의 유기적 인 결합. 옥스퍼드 대학의 Simonyan 등은 시공간 심도 신경망으로 동영상을 분석할 것을 제안했다. 타임라인의 원본 비디오 입력은 비디오의 시각적 개체를 식별하는 데 사용되고, 공간 축의 타이밍 관련 필드 입력은 비디오의 시각적 개체의 모션 및 트랙을 식별하는 데 사용됩니다.

현재 국내외에서 시각 내용에 대한 분석과 표현에도 많은 경기가 있다. 예를 들어, 20 13 년 미국 플로리다 대학에서 조직한 THUMOS 경연 대회에서는 대량의 시각 데이터 세트에서 이질적인 시각 자원을 분석한 후 매년 관련 연구가 진행되고 있습니다. 칭화대, 저장대, 홍콩 중문대, 카네기멜론 대학, 시드니 과학기술대 등 국내외 여러 대학과 과학연구기관이 이번 대회에 적극 참여했다. 20 1 1 미국 국가표준기술연구원이 조직한 TRECVID 콘테스트 (trecvid conference) 는 대규모 시각 데이터 세트에서 복잡한 시각 자원의 이벤트 모니터링 문제를 조사했습니다. 최근 몇 년 동안 대회는 이 주제를 중심으로 관련 연구를 진행해 왔으며, 국내 여러 고교들, 예를 들면 복단대, 저장대, 베이징공대, 동제대 등도 이번 대회에서 어느 정도 성과를 거두었다.

현재 대규모 데이터 자원을 시각화하는 조직, 분석, 이해 및 활용에 대한 많은 연구 결과가 있지만 이러한 성과의 최종 목적은 시각화 검색에 적용되는 것입니다. 최근 몇 년 동안 일련의 연구는 시각화 검색과 다양한 업종과 분야에서의 응용과 보급에 긍정적인 역할을 해 왔으며, 이는 디지털 도서관 분야에 긍정적인 신호다.

3 대 데이터 환경에서 시각적 검색 연구의 다섯 가지 핵심 문제

시각 검색은 이미 업계와 학계 (디지털 도서관 포함) 의 높은 중시를 불러일으켰지만 국내에서는 아직 광범위하게 응용과 보급을 받지 못하고 있다. 주로 관련 기술과 앱이 아직 완전히 성숙하지 않았고, 시각 검색 성능이 이상적이거나 불안정하고, 사용자 체험이 열악하고, 응용한계가 강한 문제가 있다. 이러한 문제를 둘러싸고 시각적 검색 연구의 기본 이론과 기술적 관점에서 해결할 필요가 있다. 디지털 도서관 시각 검색 모드 [1] 를 구축하는 과정에서 시각적 검색 연구는 주로 다음과 같은 다섯 가지 핵심 문제로 구성됩니다.

대형 데이터 자원 수집 및 구성 방법을 시각화합니다. 인터넷 환경에서 시각화 된 대형 데이터 자원의 존재 형태는 동적으로 무질서하고 이질적이며 시각화 자원의 생산 및 게시는 동적입니다. 시각 자원에 포함된 정보 내용에는 의미 시공간의 관계가 있는 이질적이고 복잡한 정보 주제가 많이 포함되어 있습니다. 그러나 기존의 인공 치수 기반 시각적 자원 치수 지정 방법은 종종 정확하지 않습니다. 따라서 필요한 시각적 리소스를 신속하게 얻는 방법은 시각적 검색 응용 프로그램에서 중요한 문제입니다. 검색할 시각적 객체와 무관한 시각적 자원 정리 및 필터링, 시각적 대용량 데이터 자원의 효과적인 조직은 시각적 검색 응용 프로그램의 핵심 문제입니다.

대형 데이터 자원의 이해와 표현을 시각화하다. 대량의 시각적 대용량 데이터 리소스에서 검색할 객체와 일치하는 시각적 리소스를 찾으려면 검색할 시각적 리소스의 특성 분석 및 이해에서 시각적 내용을 다양화, 구조화, 다단계로 심도 있게 이해하고 표현해야 합니다.

대형 데이터 자원의 통합 및 상호 작용 방법을 시각화합니다. 시각적 검색은 정보 검색 방법으로 사용자에게 서비스를 제공합니다. 시각화 대용량 데이터 리소스를 획득, 구성, 이해 및 표현하는 목적은 사용자에게 지능적이고 인간적인 지식 서비스를 제공하기 위한 것입니다. 따라서 시각화 대용량 데이터 자원 통합의 전체 수명 주기를 중심으로 다차원 분석을 수행하여 시각화 대용량 데이터 자원에 대한 다양한 지식 서비스 요구 사항을 충족하는 방법도 시각화 검색 연구가 현실이 될 수 있는지 여부에 대한 핵심 문제입니다.

비주얼 객체 지식 기반의 구축 및 표준화 시각적 검색은 시각적 객체 지식 기반 구축에 따라 달라집니다. 고품질 비주얼 객체 기술 자료를 기반으로, 사용자는 검색할 비주얼 객체를 가상 정보 공간의 시각적 대용량 데이터 리소스와 빠르고 효율적으로 연결하여 디지털 도서관에서 제공하는 시각적 검색 지식 서비스를 이용할 수 있습니다. 동시에 표준화는 시각적 검색 어플리케이션의 원활한 적용과 보급의 관건이기도 하다.

비주얼 검색 시스템 보안 및 신뢰성 이론. 사이버 보안 및 시스템 신뢰성은 언제나 피할 수 없는 문제이며 시각적 검색도 예외는 아닙니다. 시각적 검색 시스템에서 데이터 보안 및 지적 재산권, 사용자 개인 정보 보호, 시스템 가용성 및 신뢰성도 시각적 검색이 응용 프로그램을 효과적으로 홍보할 수 있는지 여부에 대한 핵심 문제입니다.

4 요약 및 전망

인터넷+'시대에는 정보 서비스가 사용자의 지능화, 개인화, 임베디드 지식 서비스 요구에 점점 더 광범위하게 스며들면서 디지털 도서관 분야가 새로운 킬러급 정보 검색 모델을 부르기 시작했다. 시각적 검색은 현재 정보 검색 분야의 중요한 개척과 혁신의 돌파구이다. 국내외 정보학 분야의 선진 연구 성과를 충분히 흡수하는 기초 이론 및 응용 연구를 실시하여 디지털 도서관 시각화 검색의 기초 이론 및 응용 연구를 전개하여 이론적으로 디지털 도서관 지식 서비스의 연구 구상과 미래 발전 틀을 풍부하게 할 수 있을 뿐만 아니라, 디지털 도서관 시각화 빅 데이터 자원 가치의 생성 메커니즘과 전환 법칙을 밝히는 데도 도움이 될 것이다.

인류가' 인터넷+시대' 로 나아가고 있다는 것은 의심의 여지가 없다. 시각적 검색은 기술 및 이념 혁신으로서 일반 정보 기술의 생존, 발전, 성숙의 기본 법칙에 부합해야 하며, 기술 탄생의 초기 단계, 빠른 진보의 발전 단계, 빠른 확장의 절정 단계, 거품의 저조한 단계, 꾸준한 발전의 광명 단계, 실제 응용의 최고봉 단계 등 6 단계를 거쳐야 한다. 현재 국내외 기존 시각 검색 연구는 발전 단계에 있으며 이론과 기술이 교차한 후 학과 간의 불균형이 나타났다. 현재 시각 검색의 이론, 방법 및 기술에 대한 연구는 주로 상업적 시각 검색의 응용에 초점을 맞추고 있으며, 시각 데이터 자원을 생산하는 학술 분야에 대한 관심은 적다. 실제로 과학 연구, 학과 서비스 등 학술 분야를 대표하는 시각화 빅 데이터 자원은 풍부한 내포와 비즈니스 애플리케이션과는 다른 독특한 특징을 가지고 있다. 상업 응용과 학술 분야에 관한 연구를 전면적으로 파악해야만 더욱 과학, 시스템, 합리적인 시각 검색 이론 체계와 응용 프레임워크를 구축하는 데 도움이 된다.