출처:

http://www.wired.com/2016/05/facebook-trying-create-ai-can-create-ai/

DEEP NEURAL NETWORKS are remaking the Internet. Able to learn very human tasks by analyzing vast amounts of digital data, these artificially intelligent systems are injecting online services with a power that just wasn’t viable in years past. They’re identifying faces in photos and recognizing commands spoken into smartphones and translating conversations from one language to another. They’re even helping Google choose its search results. All this we know. But what’s less discussed is how the giants of the Internet go about building these rather remarkable engines of AI.

심층신경망이 인터넷을 바꾸고 있다. 엄청난 양의 디지털 데이터를 분석하여 인간만이 할 수 있었던 일들을 배운 이 인공지능 시스템들은 지난 세월동안 실현불가능했던 기능들을 기존의 온라인 서비스에 부여하고 있다. 이 인공지능 시스템들은 사진에 찍힌 얼굴을 인식하고 스마트폰에 입력되는 음성 명령을 인식할 뿐더러 회화 통역까지 하고 있다. 심지어 이 시스템들은 구글이 검색 결과를 선택하는데에도 도움을 주고 있다. 이 모든 것들은 이미 우리가 알고 있는 사실들이다. 그러나 대형 인터넷 기업들이 어떻게 해서 이 인공지능 시스템을 만드는지에 대해서는 잘 알려져 있지 않다.

 

Part of it is that companies like Google and Facebook pay top dollar for some really smart people. Only a few hundred souls on Earth have the talent and the training needed to really push the state-of-the-art forward, and paying for these top minds is a lot like paying for an NFL quarterback. That’s a bottleneck in the continued progress of artificial intelligence. And it’s not the only one. Even the top researchers can’t build these services without trial and error on an enormous scale. To build a deep neural network that cracks the next big AI problem, researchers must first try countless options that don’t work, running each one across dozens and potentially hundreds of machines.

구글이나 페이스북 같은 인터넷 기업들은 매우 똑똑한 인재들에게 엄청난 연봉을 주고 인공지능 시스템을 만든다. 인류의 극소수만이 정상급 인공지능 시스템을 만드는데 필요한 재능과 교육수준을 보유하고 있으며, 이 인재들에게 돈을 주는 것은 NFL 쿼터백에게 돈을 주는 것과 비슷하다. 이러한 상황은 인공지능의 발전에 장애물이 되고 있다. 이 뿐만이 아니다. 가장 뛰어난 연구자들도 엄청난 횟수의 시도와 오류 없이는 인공지능 시스템을 만들 수가 없다. 인공지능의 난제를 해결할 수 있는 심층인공신경망을 만들기 위해 연구자들은 각각의 인공신경망을 수십 ~ 수백개의 컴퓨터에 입력하여 돌리면서 셀 수 없는 실패를 거듭해야 한다. 

 

“It’s almost like being the coach rather than the player,” says Demis Hassabis, co-founder of DeepMind, the Google outfit behind the history-making AI that beat the world’s best Go player. “You’re coaxing these things, rather than directly telling them what to do.”

"선수 대신 코치가 되는 셈이죠"라고 딥마인드의 공동창업자 데미스 하사비스는 말했다. 딥마인드가 만든 인공지능은 세계에서 가장 뛰어난 바둑 고수를 이긴 적이 있다. "인공지능한테 뭘 하라고 직접 명령하는 대신 구슬리고 달래야 하니까요"

 

That’s why many of these companies are now trying to automate this trial and error—or at least part of it. If you automate some of the heavily lifting, the thinking goes, you can more rapidly push the latest machine learning into the hands of rank-and-file engineers—and you can give the top minds more time to focus on bigger ideas and tougher problems. This, in turn, will accelerate the progress of AI inside the Internet apps and services that you and I use every day.

때문에 인공지능 부문에 종사하는 기업들은 이제 인공지능 개발과정을 - 최소한 그 일부분만이라도 - 자동화하려 시도하고 있다. 가장 힘들고 지루한 부문을 자동화할 수만 있다면 최첨단 기계학습을 더욱더 빨리 일반 엔지니어들에게 넘겨주고 가장 똑똑한 인재들은 더 크고 어려운 문제에 집중할 수 있게 된다. 이는 우리가 매일 사용하는 인터넷 앱과 서비스에 내장되어 있는 인공지능의 발전을 가속화시킬 수 있다. 

 

In other words, for computers to get smarter faster, computers themselves must handle even more of the grunt work. The giants of the Internet are building computing systems that can test countless machine learning algorithms on behalf of their engineers, that can cycle through so many possibilities on their own. Better yet, these companies are building AI algorithms that can help build AI algorithms. No joke. Inside Facebook, engineers have designed what they like to call an “automated machine learning engineer,” an artificially intelligent system that helps create artificially intelligent systems. It’s a long way from perfection. But the goal is to create new AI models using as little human grunt work as possible.

다시 말해 컴퓨터들이 더 빠르게 똑똑해지려면 컴퓨터들 자신이 더 많은 일을 해야 한다는 뜻이다. 거대 인터넷 기업들은 자사의 엔지니어들을 대신하여 다양한 기계학습 알고리즘을 테스트할 수 있는 컴퓨터 시스템을 만들고 있다. 또한 이 기업들은 인공지능 알고리즘을 만드는데 도움을 주는 인공지능 알고리즘을 만들고 있다. 이건 농담이 아니다. 페이스북 엔지니어들은 이른바 "자동화된 기계학습 엔지니어", 즉 인공지능 시스템을 만드는데 도움을 주는 인공지능 시스템을 만들었다. 물론 아직 완벽하지는 않다. 하지만 목적은 인간의 노력을 최소한으로 줄이면서 새로운 인공지능 모델을 만드는데 있다.

 

After Facebook’s $104 billion IPO in 2012, Hussein Mehanna and other engineers on the Facebook ads team felt an added pressure to improve the company’s ad targeting, to more precisely match ads to the hundreds of millions of people using its social network. This meant building deep neural networks and other machine learning algorithms that could make better use of the vast amounts of data Facebook collects on the characteristics and behavior of those hundreds of millions of people.

2012년 페이스북이 1,040억달러짜리 공개상장을 한 이후, 후세인 메한나와 페이스북 광고팀의 엔지니어들은 시간이 갈수록 자사의 광고를 개선하라는 압박을 받았다. 자사의 소셜네트워크를 이용하는 수억 명의 사람들에게 맞춤형 광고를 제공해야 했던 것이다. 이것은 페이스북이 수십억 명의 특성 및 행동에서 수집하는 엄청난 양의 데이터를 효율적으로 사용할 수 있는 심층인공신경망과 각종 기계학습 알고리즘을 만들어야 된다는 것을 의미했다.

 

'The more ideas you try, the better. The more data you try, the better.'

According to Mehanna, Facebook engineers had no problem generating ideas for new AI, but testing these ideas was another matter. So he and his team built a tool called Flow. “We wanted to build a machine-learning assembly line that all engineers at Facebook could use,” Mehanna says. Flow is designed to help engineers build, test, and execute machine learning algorithms on a massive scale, and this includes practically any form of machine learning—a broad technology that covers all services capable of learning tasks largely on their own.

'더 많은 아이디어를 시도할수록 좋다. 더 많은 자료를 가지고 시도할수록 좋은 결과가 나온다.'

메한나의 말에 따르면, 페이스북 엔지니어들은 새로운 인공지능에 대한 아이디어를 내는 데에 별 어려움을 겪지 않았으나, 그 아이디어를 테스트한다는 것은 다른 문제였다. 때문에 메한나와 그의 연구팀은 "플로우"라는 이름의 툴을 만들었다. "우리는 페이스북의 모든 엔지니어가 사용할 수 있는 기계학습 조립라인을 만들고 싶었습니다"라고 메한나가 말했다. 플로우는 엔지니어들이 다수의 기계학습 알고리즘을 만들고, 테스트하고, 실행하는데 도움을 주며, 거의 모든 형태의 기계학습을 망라한다. 기계학습은 매우 광범위한 기술분야로 자가학습이 가능한 모든 인터넷 서비스에 사용된다. 

 

Basically, engineers could readily test an endless stream of ideas across the company’s sprawling network of computer data centers. They could run all sorts of algorithmic possibilities—involving not just deep learning but other forms of AI, including logistic regression to boosted decision trees—and the results could feed still more ideas. “The more ideas you try, the better,” Mehanna says. “The more data you try, the better.” It also meant that engineers could readily reuse algorithms that others had built, tweaking these algorithms and applying them to other tasks.

개략적으로 말하자면, 페이스북 엔지니어들은 끝없이 흘러나오는 아이디어들을 자사의 데이터센터에서 테스트할 수 있다. 여기에는 심층학습뿐만 아니라 로지스틱 회귀부석이나 강화버전의 결정트리 같은 다양한 형태의 인공지능을 포함하며, 테스트에서 나온 결과를 가지고 더 많은 아이디어를 창출해낼 수 있다. '"더 많은 아이디어를 시도할수록 좋습니다. 더 많은 자료를 가지고 시도할수록 좋은 결과가 나옵니다."라고 메한나는 말한다. 또한 엔지니어들은 다른 엔지니어가 만든 알고리즘을 재사용하거나 다른 과제에 적합하게 개조해서 사용할 수도 있다.

 

Soon, Mehanna and his team expanded Flow for use across the entire company. Inside other teams, it could help generate algorithms that could choose the links for your Faceboook News Feed, recognize faces in photos posted to the social network, or generate audio captions for photos so that the blind can understand what’s in them. It could even help the company determine what parts of the world still need access to the Internet.

얼마 지나지 않아 메한나와 그 연구팀은 플로우를 확장시켜 회사의 전 직원이 사용할 수 있도록 했다. 다른 연구팀에서는 플로우를 활용하여 페이스북 뉴스피드를 위한 링크를 선별하는 알고리즘, 소셜네트워크에 포스팅된 사진에서 얼굴을 식별해내는 알고리즘, 시각장애인을 위하여 사진에 찍힌 장면을 음성으로 설명해주는 알고리즘을 만들어냈다. 이 뿐만 아니라 플로우는 세계의 어느 지역이 현재 인터넷 접속을 필요로 하는지 파악하는데 도움을 줬다.

 

With Flow, Mehanna says, Facebook trains and tests about 300,000 machine learning models each month. Whereas it once rolled a new AI model onto its social network every 60 days or so, it can now release several new models each week.

메한나는 말하기를, 오늘날 페이스북은 플로우를 사용하여 약 300,000개의 기계학습 모델을 매달 학습시키고 테스트를 한다. 예전에는 새로운 인공지능 모델을 개발하는데 약 60일이 걸렸지만, 지금은 매 주마다 여러 개의 인공지능 모델이 나온다.

 

The idea is far bigger than Facebook. It’s common practice across the world of deep learning. Last year, Twitter acquired a startup, WhetLab, that specializes in this kind of thing, and recently, Microsoft described how its researchers use a system to test a sea of possible AI models. Microsoft researcher Jian Sun calls it “human-assisted search.”

인공지능을 이용해 인공지능을 개발하려는 기업은 비단 페이스북뿐만이 아니다. 심층학습의 세계에서는 흔히 사용하는 방법이다. 작년에 트위터는 이런 종류의 기술을 전문으로 연구하는 스타트업 "웻랩"을 인수했다. 최근에 마이크로소프트는 자사 연구진이 엄청난 수의 인공지능 모델을 테스트하는데 사용하는 시스템을 소개했다. 마이크로소프트 연구원 지안 선은 이를 "인간 매개 탐색"이라 부른다.

 

Engineers even built their own 'automated machine learning engineer.'

엔지니어들이 자신만의 "자동화된 기계학습 엔지니어"를 개발하다.

Mehanna and Facebook want to accelerate this. The company plans to eventually open source Flow, sharing it with the world at large, and according to Mehanna, outfits like LinkedIn, Uber, and Twitter are already interested in using it. Mehanna and team have also built a tool called AutoML that can remove even more of the burden from human engineers. Running atop Flow, AutoML can automatically “clean” the data needed to train neural networks and other machine learning algorithms—prepare it for testing without any human intervention—and Mehanna envisions a version that could even gather the data on its own. But more intriguingly, AutoML uses artificial intelligence to help build artificial intelligence.

메한나와 페이스북은 인공지능 개발이 더 빨리 이루어지기를 원하고 있다. 페이스북은 플로우를 오픈소스로 공개하여 전세계와 공유하는 것을 계획 중에 있으며, 메한나의 말에 따르면, 이미 링크드인, 우버, 트위터가 플로우에 관심을 가지고 있다. 이 외에도 메한나와 그 연구진은 "오토엠엘"이라는 툴을 만들었는데, 이 툴은 인간 엔지니어의 작업을 더욱 간편화시켜준다. 플로우를 기반으로 구축된 오토엠엘은 인공신경망과 각종 기계학습 알고리즘의 훈련에 필요한 데이터를 자동적으로 "세척"(즉 인간의 개입 없이 인공지능 테스트에 필요한 데이터를 준비해 놓는다)한다. 메한나는 앞으로 위의 기능에 더하여 스스로 자료를 수집하는 오토엠엘의 업그레이드 버전이 나올 것으로 예상하고 있다. 하지만 흥미로운 점은 오토엠엘이 인공지능을 만드는 것을 돕기 위해 인공지능을 사용한다는 점이다.

 

As Mehana says, Facebook trains and tests about 300,000 machine learning models each month. AutoML can then use the results of these tests to train another machine learning model that can optimize the training of machine learning models. Yes, that can be a hard thing to wrap your head around. Mehanna compares it to Inception. But it works. The system can automatically chooses algorithms and parameters that are likely to work. “It can almost predict the result before the training,” Mehanna says.

메한나의 말에 따르면, 페이스북은 매달 약 300,000 기계학습 모델을 훈련 및 테스트하고 있다. 오토엠엘은 이 테스트 결과를 가지고 다른 기계학습 모델을 훈련시키는데, 이 기계학습 모델은 기계학습 모델의 훈련방법을 최적화시킨다. 처음에 들으면 무슨 말인지 이해가 안 갈 것이다. 메한나는 이것이 인셉션과 유사하다고 말한다. 어쨌든 이 시스템은 확실히 효과가 있다. 이 시스템은 잘 작동할 것 같은 알고리즘과 파라미터를 자동으로 선택한다. "이 시스템은 기계학습 모델을 훈련시키기도 전에 그 결과를 거의 예측할 수 있습니다." (문득 해리포터에 나오는 모자가 생각나는군요? - 역자 주 -_-)

 

Inside the Facebook ads team, engineers even built that automated machine learning engineer, and this too has spread to the rest of the company. It’s called Asimo, and according to Facebook, there are cases where it can automatically generate enhanced and improved incarnations of existing models—models that human engineers can then instantly deploy to the net. “It cannot yet invent a new AI algorithm,” Mehanna says. “But who knows, down the road…”

이에 더하여 페이스북의 광고팀 엔지니어들은 "아시모"라는 이름의 자동화된 기계학습 엔지니어를 만들었고, 이 시스템도 얼마 안 있어서 회사 전체에 보급되었다. 아시모는 기존 인공지능 모델의 개선된 버전을 자동으로 만들어내며, 인간 엔지니어들은 이 버전을 곧바로 인터넷에 투입할 수 있다. "아직 아시모는 새로운 인공지능 알고리즘을 만들어내지 못합니다"라고 메한나는 말했다. "하지만 누가 알겠어요. 미래에는 할 수 있을지도?"

 

It’s an intriguing idea—indeed, one that has captivated science fiction writers for decades: an intelligent machine that builds itself. No, Asimo isn’t quite as advanced—or as frightening—as Skynet. But it’s a step toward a world where so many others, not just the field’s sharpest minds, will build new AI. Some of those others won’t even be human.

이는 매우 흥미로운 아이디어이다. 자기 자신을 만들어내는 지능기계는 매우 오랫동안 SF작가들의 상상을 사로잡아 왔다. 물론 아시모는 스카이넷 수준까지 발전하지 못했다. 하지만 인공지능 분야에 종사하는 극소수의 천재들 이외에 많은 자들이 새로운 인공지능을 만들어낼 수 있는 세상을 향해 한 발짝 나아간 셈이다. 그리고 이 "많은 자들" 중에는 심지어 인간이 아닌 자도 있을 것이다.