pandas
Google BigQuery के लिए IO

उपयोगकर्ता खाते के क्रेडेंशियल्स के साथ BigQuery से डेटा पढ़ना

In [1]: import pandas as pd

BigQuery में क्वेरी चलाने के लिए आपको अपना खुद का BigQuery प्रोजेक्ट रखना होगा। हम कुछ सार्वजनिक नमूना डेटा का अनुरोध कर सकते हैं:

In [2]: data = pd.read_gbq('''SELECT title, id, num_characters
   ...:                       FROM [publicdata:samples.wikipedia]
   ...:                       LIMIT 5'''
   ...:                    , project_id='<your-project-id>')

यह प्रिंट होगा:

Your browser has been opened to visit:

    https://accounts.google.com/o/oauth2/v2/auth...[looong url cutted]

If your browser is on a different machine then exit and re-run this
application with the command-line parameter

  --noauth_local_webserver

यदि आपका स्थान स्थानीय मशीन से संचालित हो रहा है तो ब्राउज़र पॉप-अप होगा। विशेषाधिकार देने के बाद उत्पादन के साथ पांडा जारी रहेंगे:

Authentication successful.
Requesting query... ok.
Query running...
Query done.
Processed: 13.8 Gb

Retrieving results...
Got 5 rows.

Total time taken 1.5 s.
Finished at 2016-08-23 11:26:03.

परिणाम:

In [3]: data
Out[3]: 
               title       id  num_characters
0       Fusidic acid   935328            1112
1     Clark Air Base   426241            8257
2  Watergate scandal    52382           25790
3               2005    35984           75813
4               .BLP  2664340            1659

एक साइड इफेक्ट के रूप में पांडा json फ़ाइल bigquery_credentials.dat बनाएगा जो आपको विशेषाधिकारों को प्रदान करने की आवश्यकता के बिना आगे के प्रश्नों को चलाने की अनुमति देगा:

In [9]: pd.read_gbq('SELECT count(1) cnt FROM [publicdata:samples.wikipedia]'
                   , project_id='<your-project-id>')
Requesting query... ok.
[rest of output cutted]

Out[9]: 
         cnt
0  313797035

सेवा खाते के क्रेडेंशियल्स के साथ बिगविक का डेटा पढ़ना

यदि आपने सेवा खाता बनाया है और उसके लिए निजी कुंजी जसन फ़ाइल है, तो आप इस फ़ाइल का उपयोग पांडा के साथ प्रमाणित करने के लिए कर सकते हैं

In [5]: pd.read_gbq('''SELECT corpus, sum(word_count) words
                       FROM [bigquery-public-data:samples.shakespeare]       
                       GROUP BY corpus                                
                       ORDER BY words desc
                       LIMIT 5'''
                   , project_id='<your-project-id>'
                   , private_key='<private key json contents or file path>')
Requesting query... ok.
[rest of output cutted]

Out[5]: 
           corpus  words
0          hamlet  32446
1  kingrichardiii  31868
2      coriolanus  29535
3       cymbeline  29231
4    2kinghenryiv  28241