前提条件

本記事ではPythonのBigQuery APIクライアントライブラリを使用します．
インストールをしていない場合は先にインストールが必要です．

• 検証バージョン：google-cloud-bigquery 3.4.0

BigQueryからテーブルを取得する

BigQuery上にあるテーブルをSQLクエリで取得します．

from google.cloud import bigquery

# BigQueryのパブリックデータ(67.58 KB)
query = '''
SELECT
    County_of_Residence,
    Births,
    Ave_Age_of_Mother
FROM
    `bigquery-public-data.sdoh_cdc_wonder_natality.county_natality`
LIMIT
    10
'''

client = bigquery.Client()
cj = client.query(query)
print(cj, '\n', type(cj))

QueryJob<project=***, location=US, id=***>
 <class 'google.cloud.bigquery.job.query.QueryJob'>

BigQueryからのテーブル取得はClient()オブジェクトのメソッドquery()で可能です．
query()を実行するとQueryJobオブジェクトが返ってきます．

• 公式 Reference: QueryJob

QueryJobオブジェクトには様々なメソッドがありto_dataframe()メソッドを使用すれば取得したテーブルをDataFrameとして取得できます．

df = cj.to_dataframe()
df.head(3)

to_dataframe()メソッドの主な引数は以下のとおりです．

• 公式 Reference: to_dataframe

以下はdtypesとprogress_bar_typeを指定して実行した例です．

dtypes={'Births': 'float16'}

df = cj.to_dataframe(dtypes=dtypes, progress_bar_type='tqdm')
df.dtypes

Job ID *** successfully executed: 100%|██████████|
Downloading: 100%|██████████|

County_of_Residence     object
Births                 float16
Ave_Age_of_Mother      float64
dtype: object

DataFrameのデータ型を見ると指定した「Births」列がfloat16になっていますね．
またprogress_bar_typeを指定しているので，進捗具合も表示されています．

テーブルのスキーマに関する情報を取得する

スキーマの情報を取得する例を以下より確認していきます．

QueryJobオブジェクトのresult()メソッドでRowIteratorオブジェクトを取得します．

cjr = cj.result()
cjr

<google.cloud.bigquery.table.RowIterator at ***>

スキーマ

テーブルのスキーマを確認するにはschema属性を使用します．

cjr.schema

[SchemaField('County_of_Residence', 'STRING', 'NULLABLE', None, None, (), None),
 SchemaField('Births', 'INTEGER', 'NULLABLE', None, None, (), None),
 SchemaField('Ave_Age_of_Mother', 'FLOAT', 'NULLABLE', None, None, (), None)]

schema属性にはSchemaFieldというオブジェクトがリストで存在し，それぞれのSchemaFieldが各列（カラム）ごとの情報を保持しています．必要な情報にはSchemaFieldの属性を使用してアクセスします．

列名（カラム名，フィールド名）

列名はSchemaFieldのname属性で取得します．
以下の例では全カラム名をfor文で取り出しています．

[i.name for i in cjr.schema]

['County_of_Residence', 'Births', 'Ave_Age_of_Mother']

列のデータ型（フィールドタイプ）

各列のデータ型はfield_type属性で取得します．

[i.field_type for i in cjr.schema]

['STRING', 'INTEGER', 'FLOAT']

列名，データ型，モードを辞書で取得

SchemaFieldのto_api_repr()メソッドを使用すればスキーマの情報を辞書で取得できます．

[i.to_api_repr() for i in cjr.schema]

[{'name': 'County_of_Residence', 'type': 'STRING', 'mode': 'NULLABLE'},
 {'name': 'Births', 'type': 'INTEGER', 'mode': 'NULLABLE'},
 {'name': 'Ave_Age_of_Mother', 'type': 'FLOAT', 'mode': 'NULLABLE'}]

行数

行数はRowIteratorオブジェクトのtotal_rows属性で確認できます．

cjr.total_rows

10

その他の属性

他にもスキーマに関する主な情報は以下の属性で取得できます．

関連情報

BigQuery INFORMATION_SCHEMAを使用して情報を取得することも可能です． クエリでテーブル情報を取得できるのでとても便利です．

ひとこと

BigQuery APIクライアントライブラリを使うとPythonで色々な情報を取得できますね．
テーブルを取得するだけならpandasのread_gbqをよく使います．