[번역] Fulfillment and authentication - Google Assistant - Action on Google

Fulfillment and authentication (이행 과 인증)

Fulfillment (이행, 수행)

Fulfillment는, smart home intent 에 대해 동적으로 응답을 생성할 수 있는, 웹 후크로 배포되는 코드이다. Google Assistant와 사용자 conversation 동안, fullfillment는 Google의 자연어 처리 프로세스에서 추출한 정보를 사용하여, 백엔드에서 조명켜기와 같은 동적 응답을 생성하거나, 조치를 트리거(시작)할 수 있다.

Fulfillment는 Assistant의 요청을 수신하고, 요청을 처리하고 응답한다.  이 back and-forth 요청과 응답 프로세스는 결국 초기 사용자 요구를 fulfill(이행)할 때까지, conversation을 할 수 있도록 이끈다. 대부분의 경우, 사용자는 'Hay Google, turn on my light.' 처럼 단순 Google Assistant와 단순 스마트홈 interaction(상호작용)한다.  하지만, two-factor authentication을 구현해야한다면, fulfillment는 'Hay Google, unlock my front door.'와 같은 Google Assistant에게 특수 요청 이후, PIN 인증을 요청하는것 처럼, 다중 요청과 응답을 처리해야할 수도 있다.

그림1은 스마트홈 EXECUTE intent의 정상적인 fulfillment와 execution을 보여준다.

Authentication (인증, 입증)

Authentication을 통해서, 사용자의 Google 계정을 인증 시스템의 사용자 계정과 연결할 수 있다. 이것은 fulfillment 위에 스마트홈 intent를 수신하면. 사용자 식별이 가능하도록 한다.  Google smart home은 authorization code flow의 OAuth만 지원한다.

Smart home의 경우, authorization 과 token exchange endpoint 두개의 endpoint가 필요한 authorization code flow의 OAuth를 사용해야한다. account linking with OAuth 참조

사용자를 인증하면, 스마트홈 intent가 fulfillment를 전송할 때, Authorization header에 사용자의 타사 OAuth2 access token이 전송된다.  모든 사용자는 장치정보가 Assistant에게 action.devices.SYNC intent와 함께 전송되기 때문에, account linking을 수행 해야만한다.

스마트홈 Action은 동일한 사용자 계정에 연결하는 여러 Google 사용자를 지원할것으로 예상된다(예: 사용자가 집안의 다른 사용자에게 액세스 권한을 부여할 때). 서비스에서 여러 사용자 연결을 지원할 수 없는 경우, 계정 연결 시, 오류가 발생해야한다.

[번역]Account linking with Google Sign-In - Google Assistant - Action on Google

Google Sign-In 으로 계정 연결하기

원문그대로 번역했으나, 화면이 현재 화면과 다름. 내용만 참조할 것.

Assistant 의 Google Sign-in은 사용자와 개발자 모두에게 Account linking 과 Account creation하기 가장 단순하고 쉬운 사용자환경을 제공한다. Action은 conversation 동안, 사용자명, 이메일, 프로필사진 등의 사용자의 구글 프로필정보 에 접근을 요청할 수 있다.
프로필 정보는 Action에서 개인화된 user experience 를 만드는데 사용될 수 있다.  만약, 다른 플랫폼용 앱이 있고, Google Sigh-In을 사용하면, 그 시스템에 기존 사용자 계정을 찾아 연결 가능하고, 새 계정 생성 또는 직접 communication 채널을 만드는것도 가능해진다.
Google Sign-In 으로 Account linking을 수행하기 위해선, 사용자에게 Google 프로필 접근 허용 동의를 요청한다.그런 다음, 시스템에서 사용자를 식별하여 프로필 정보(예:이메일 주소)를 사용한다.

Google Sign-In account linking 구현

아래 섹션의 단계에 따라 Action에 Google Sign-In account linking을 추가한다.

note : 금융 관련 계정 연결은 작업 검토에 6주 소요되므로, 릴리즈 계획에 시간 고려 필요.금융 서비스 정책 참조

프로젝트 설정

Google Sign-In account linking 을 사용하도록 프로젝트를 설정하려면, 아래 단계를 따름.

1. Action Console을 열고 프로젝트를 선택
2. Develop 탭을 클릭해서, Account Linking을 선택
3. Account Creation에서 'Yes, allow users to sign up for new accounts via voice' 선택
4. Linking type에서 'Google Sign In' 을 선택
5. Client Information을 열고, Client ID issued by Google to your Actions 항목 값을 메모
6. Save 클릭

인증 flow 시작

주의 : Action의 conversation 시작 시, 계정 연결 요청하지 말것.  대신에, 인증되지 않은 사용자에게 게스트 flow를 제공하여, Action의 작동 방식을 보여준 후에, 진행이 필요한경우에만 Account linking 을 요청할것.  계정문제때문에 사용자가 떠나는 경우가 지속적으로 발생하게되면, 구글은 Action을 적극적으로 홍보하지 않기 때문에, Action 사용자 트래픽이 감소하게됨.

인증된 사용자만 Account linking을 수행할 수 있음. Guest의 경우, account linking은 실패함.  게스트 사용자 처리와 인증에 관한 내용 살펴볼것.

인증 flow를 시작하려면, Account Sign-in helper intent 를 사용함.

사용자가 Action이 Google 프로필에 접근할 수 있는 권한 부여 후, 액션에 대한 모든 후속요청에, 사용자의 Google 프로필 정보가 포함된 Google ID 토큰을 받게 된다.

사용자의 프로필 정보에 접근하려면, 먼저, 다음을 수행하여 토큰의 유효성점검과 디코드를 수행한다.

1. 해당 언어에 맞는 JWT-decoding library 를 사용하여 토큰을 해독하고, Google의 공개키(JWK or PEM 형식으로 제공)를 사용하여 토큰의 서명을 확인한다.
2. 토큰의 발행자(decoded token에 iis 필드)가 https://accounts.google.com 이고,  audience (decoded token에 aud  필드)가 Action on Google consol의 해당 프로젝트에서 발행된 Client ID issued by Google to your Actions 값인지 확인하라. 

샘플 코드는 상단 원본 링크에서 확인..

Actions on Google client library for Node.js 또는 the Java client library를 사용한다면, 프로파일 컨텐츠에 접근 권한 부여 등의 작업에서, 할당된 토큰을 디코드 또는 유효성 검증에 주의 해야한다. 아래 code snippets(코드 요약 예) 가 있다. 아래 JSON은 각각 Dialogflow와 Actions SDK의 webhook 요청을 설명한다.

다음 스니펫은 로그인에 Dialogflow을 사용한다.
샘플 코드는 상단 원본 링크에서 확인..

다음 스니펫은 로그인에 Actions SDK를 사용한다.
샘플 코드는 상단 원본 링크에서 확인..

Handle data access requests (데이터 접근 요청 처리)

데이터 접근 요청을 처리하려면 Google ID 토큰이 제시한 사용자가 DB에 먼저 등록되어있어야 한다. 아래 스니펫은 사용자 계정이 이미 Firestore 데이터베이스에 있는지 확인하는 방법 예시임.
샘플 코드는 상단 원본 링크에서 확인..

[번역]Account linking - Google Assistant - Action on Google

Account Linking

Note: Account Linking 을 활성화 하는 Action은 Android(Go 에디션) 기기에서 현재 사용할 수 없다.

Account linking 을 통해서 구글 계정을 인증 시스템의 사용자 계정과 연결할 수 있다. 이를 통해서 사용자에게 풍부한 경험을 제공할 수 있다. 예를 들어, 사용자의 음식, 또는 음악 기본 설정, 거래 내역 및 기타 개인화 된 경험을 제공하는 데 사용할 수 있는 기타 정보를 저장할 수 있다.

Action이 다른 플랫폼 (웹 또는 Android)을 사용하는 기존 앱인 경우, Account linking 을 사용하여 모든 플랫폼에서 사용자가 기본 설정을 안전하게 사용할 수 있으므로, 일관된 크로스-플랫폼 환경이 보장된다.

Action on Google 에서 Account Linking은 Google Sign-In 을 사용하는데, 이것은 Google의 보안 인증 시스템 이고, 옵션으로, 업계 표준 프로토콜인 OAuth 2.0을 지원한다.

Account Linking 흐름 이해

Assistant 가 Google 계정을 사용자와 일치 시키면, account linking으로 해당 Google 계정에 액세스할 수 있는 권한을 사용자에게 요청할 수 있다.  계정 데이터를 사용하여 다음을 수행할 수 있다.

• 사용자가 이미 다른 플랫폼에서 Action 또는 앱 중 하나를 사용할 때, 인증 시스템에서 계정과 일치하는 항목을 찾는 경우
• 인증 시스템에서 새 사용자의 새 계정을 만들 경우

Action on Google은 세가지 계정 연결 타입을 제공한다.

Google Sign-in (구글 로그인)

Assistant 에서 Google Sign-in으로 Action이 Google profile의 사용자명, 이메일, 프로필 사진 등을 conversation 하는 동안 요청할 수 있다. 사용자는 음성으로 모든 작업이 가능하기 때문에, 자연스럽게 로그인할 수 있다.

이 유형의 Account linking은 다음의 경우 권장된다.

• 기존 인증 시스템이 없다
• 기존 인증 시스템이 있으나, @gmail.com 을 사용한 사용자만 연결한다.

자세한 내용은 Google Sign-In developer guide 를 참조.

OAuth and Google Sign-In

OAuth and Google Sign-in 링크 형식은 OAuth 기반 계정 연결 위에 Google Sign-In 을 추가한것이다. Google 사용자들에게 구글 이외의 인증 서비스를 활성화 하고자할 때, 완벽한 음성 기반 연결을 제공한다.
이 기능은, OAuth2 표준 흐름을 지원을 확장하여, Google 독점 extension 프로토콜을 추가 지원할 수 있도록 한다.

• Google profile 정보를 사용한 완벽한 연결
• Google profile 정보를 사용한 완벽한 계정 생성(optional)

이 형식의 account liinking은, 기존 인증 시스템이 있고, 사용자가 @gmail.com 이외의 주소에 연결할 수 있게 해야할 때 권장되는 형식이다.

OAuth

OAuth account linking 형식은, OAuthe 2.0 flow의 두 표준인 implicit 및 authorization code flow를 지원한다.

이 flow는 사용자 interaction을 음성에서 화면으로 이동해야하기 때문에 비추한다. 만약, oAuth2 서버가 있고, token exchange endpoint를 구글 자동 링킹 및 계정 생성용 ID token 프로토콜로 확장할 수 없을 때, 이 flow 사용을 고려하라.

추가 정보는 OAuth developer guide 참조.

[번역]Account linking with OAuth [Implicit flow]- developers.google.com

[원문] - 원문과 같으나, 현재 설정 화면은 다름

OAuth 로 Account linking 하기

OAuth linking type은 2개의 산업표준 [ implicit 와 authorization 코드 플로우] 가 있다

implicit code flow는 구글이 authorization endpoint를, 브라우저 안에서 열고, 로그인 성공한 후, long-lived access token 을 구글에 반환한다. 이 access token은 Assistant 에서 your Action 으로 보내는 모든 request 에 포함된다.

authorization code flow는 두개의 endpoint가 필요하다.
 ㅇ The authorization endpoint :  아직 로그인 하지 않은 사용자에게 로그인 UI를 제공하고, short-lived authorization code 형식으로 접근 요청을 동의 하고, 기록한다.
ㅇ The token exchange endpoint : 두가지 타입의 교환 역할을 담당한다.
  1. a long-lived refresh token 과 a short-lived access token의 인증 코드를 교환
  2. a short-lived access token을 a long-lived refresh token 으로 교체. 이 교환은 구글이 만료된 새 access token이 필요할 때 발생한다.

비록 the implicit code flow는 적용하기 간단하지만, 구글은 만료기간 없는 the implicit flow 를 access tokens 로 사용하길 권장한다. 토큰 만료된 the implicit flow 는 사양자를 다시 계정에 링크하도록 강요하기 때문이다. 만약, 보안등의 문제로 토큰 만료가 필요한 경우엔, 대신, the auth code flow 를 사용할것을 강력히 고려하라.

[ Implicit flow ] ======================

Implement OAuth account linking

ㅇ 금융 관련 계정 연결은 작업 검토에 6주 소요되므로, 릴리즈 계획에 시간 고려 필요.
금융 서비스 정책 참조

프로젝트 구성
OAuth 계정 연결을 사용하도록 프로젝트를 구성하려면 다음 단계를 수행할 것.

1. the Actions Console 을 열고 사용하려는 프로젝트를 선택.
2. Develop 탭을 클릭하고 Account linking을 선택 .
3. Account creation 에서 No, I only want to allow account creation on my website. 선택 
   
4. Linking type 에서 OAuth and Implicit 선택.
   
5. Client Information 에서  

        ㅇ 구글에서 오는 요청 식별에 Client ID issued by your Actions to Google 로 설정

        ㅇ Authorization 과 Token Exchange endpoint 의 URL을 입력

• 참고 : 클라이언트 ID를 base64로 인코딩된 문자열로 보내려면, Configure your client (optional) 옆에있는 콤보박스에서 Google to transmit clientID and secret via HTTP basic auth header 에 체크함. 

    6. Save 클릭

OAuth 서버 구현

the OAuth 2.0 implicit flow를 지원하려면,  authorization endpoint가 HTTPS를 사용하도록 

서비스를 만들어야 한다. 이 endpoint 는 데이터 액세스에 대한 사용자의 인증 및 동의역할을 한다.  The authorization endpoint는 아직 로그인을 하지 않은 사용자에게 로그인 UI를 제공하고, 요청된 액세스에대한 동의를 기록한다.

액션이 인증관련 API를 호출해야 한다면, 구글은 이 엔드포인트를 사용하여, 사용자로부터 사용자를 대신해, 해당 API를 호출할 수 있는 권한을 얻는다.

일반적인 OAuth 2.0 implicit flow session은 다음과 같은 흐름을 갖는다.

1. Google은 사용자의 브라우저에서 authorization endpoint 를 연다. 사용자는 아직 로그인하지 않은 경우 로그인하고, 아직 권한을 부여하지 않은 경우, API를 사용하여 데이터에 액세스 할 수있는 권한을 Google에 부여한다.
2. 서비스는 access token을 생성 하고 요청에 첨부 된 access token을 사용하여 사용자의 브라우저를 다시 Google로 리디렉션하여 access token을 Google에 반환한다.
3. Google은 서비스 API를 호출하고 각 요청마다 access token을 첨부합니다. 서비스는 access token이 Google에 API 접근 권한을 부여했는지 확인한 다음, API 호출을 완료한다.

승인 요청 처리

액션이 OAuth2 implicit flow를 통해서 계정 연결을 수행해야하는 경우, Google은 아래 매개변수가 포함 된 요청으로 사용자를 권한부여 엔드포인트로 보낸다.

권한 엔드 포인트 매개 변수
client_id	Google에 할당 한 고객 ID
redirect_uri	이 요청에 대한 응답을 보내는 URL입니다.
state	리디렉션 URI에서 변경되지 않은 채 Google에 다시 전달되는 부기 값입니다.
response_type	응답에 반환 할 값의 유형입니다. OAuth 2.0 암시 적 플로우의 경우 응답 유형은 항상 token입니다.

예를들어, authorization endpoint가 https://myservice.example.com/auth 라면, 요청 명령은

GET https://myservice.example.com/auth?client_id=GOOGLE_CLIENT_ID&redirect_uri=REDIRECT_URI&state=STATE_STRING&response_type=token

위와 같을것이다.

authorization endpoint 가 로그인 요청을 처리하려면, 다음 단계를 수행한다.

1. 의도하지 않거나 잘못 구성된 클라이언트 앱에 대한 액세스 권한을 부여하지 않으 려면 client_id및 redirect_uri값을 확인.
   • client_idGoogle에 할당 한 고객 ID와 일치 하는지 확인 .
   • redirect_uri 매개 변수로 지정된 URL의 형식이 다음과 같은지 확인.

     https://oauth-redirect.googleusercontent.com/r/ YOUR_PROJECT_ID

     YOUR_PROJECT_ID 는 작업 콘솔 의 프로젝트 설정 페이지 에있는 ID.
2. 사용자가 서비스에 로그인했는지 확인. 사용자가 로그인하지 않은 경우, 서비스의 로그인 또는 가입 절차를 완료.
3. Google이 API에 액세스하는 데 사용할 access token을 생성. access token은 임의의 문자열 값일 수 있지만, 토큰은, 사용자와 클라이언트를 고유하게 나타내야하며 추측 할 수 없어야함.
4. 사용자의 브라우저에서 redirect_uri매개 변수로 지정된 URL로 redirect하는 HTTP response 을 전송 . URL fragment에 다음 parameters를 모두 포함.
• access_token: 방금 생성 한 액세스 토큰
• token_type: 문자열 bearer
• state: 원래 요청의 수정되지 않은 상태 값. 다음은 결과 URL의 예.

https://oauth-redirect.googleusercontent.com/r/YOUR_PROJECT_ID#access_token=ACCESS_TOKEN&token_type=bearer&state=STATE_STRING

Google의 OAuth 2.0 redirect handler는 access token을 받고, state 값이 변하지 않다는걸 확인. Google이 Service에 대한 access token을 획득한 후, Google은 이후, AppRequest의 일부인, 액션 명령에 토큰을 첨부한다.

Start the authentication flow

경고 : Action의 대화작업을 시작할 때, 사용자에게 필요한 account linking prompt를 제공하지 말것. 대신, 인증되지 않은 사용자에게 게스트 flow를 제공하여, 작업의 작동 방식을 보여준 다음, 진행이 필요한 경우에만 계정 연결을 요청. 계정 연결 문제로 인해 사용자가 액션을 떠나도, Google은 액션을 적극적으로 홍보하지 않으므로, Action의 사용자 트래픽이 줄어들 수 있다.

Account Sign-in helper intent 를 사용해 the authentication flow를 시작한다.  아래 코드 스니펫은, 이 helper를 사용하기위한, Dialogflow 및 Actions SDK에서 응답을 보내는 방법을 기술한다.

Dialogflow:

const {dialogflow, SignIn} = require('actions-on-google');
const app = dialogflow({
  // REPLACE THE PLACEHOLDER WITH THE CLIENT_ID OF YOUR ACTIONS PROJECT
  clientId: CLIENT_ID,
});
// Intent that starts the account linking flow.
app.intent('Start Signin', (conv) => {
  conv.ask(new SignIn('To get your account details'));
});

Actions SDK:

const {actionssdk, SignIn} = require('actions-on-google');
const app = actionssdk({
  // REPLACE THE PLACEHOLDER WITH THE CLIENT_ID OF YOUR ACTIONS PROJECT
  clientId: CLIENT_ID,
});
// Intent that starts the account linking flow.
app.intent('actions.intent.TEXT', (conv) => {
  conv.ask(new SignIn('To get your account details'));
});

Handle data access requests

만약, Assistant request가 access token을 포함한다면, 우선 access token이 유효한가(만료되었나) 검사를 하고, DB에서 후속 사용자 계정을 검색 할 것.