importar datos en Google Colaboratorio

votos
31

¿Cuáles son las formas más comunes para la importación de los datos privados en cuadernos Google Colaboratorio? ¿Es posible importar una hoja de Google no pública? No se puede leer de archivos del sistema. Los documentos introductorios enlaza con una guía sobre el uso de BigQuery , pero que parece un poco ... mucho.

Publicado el 28/10/2017 a las 01:56
fuente por usuario
En otros idiomas...                            


16 respuestas

votos
22

Editar : Un ejemplo bloc de notas oficiales demostrando archivo local de carga / descarga y la integración con Drive y hojas está disponible aquí: https://colab.research.google.com/notebook#fileId=/v2/external/notebooks/io.ipynb

Claro, aquí está un cuaderno: https://colab.research.google.com/notebook#fileId=0B7I8C_4vGdF6SDdBT1pJZlZTU1k

Este portátil demuestra:

  1. Exportación de un pandas trama de datos a una hoja de Google privada de nueva creación. Y,
  2. La lectura de esos datos a partir de láminas.
Respondida el 30/10/2017 a las 13:13
fuente por usuario

votos
6

La forma más sencilla que he hecho es:

  1. Hacer repositorio en GitHub con su conjunto de datos
  2. Clonar su repositorio con! clon git --recursive [GitHub ENLACE REPO]
  3. Encuentra dónde está sus datos (! Comando ls)
  4. Abrir el archivo con los pandas como Usted lo hace en el cuaderno normal de jupyter.
Respondida el 10/02/2018 a las 15:50
fuente por usuario

votos
1

La solución más sencilla que he encontrado hasta ahora que funciona perfectamente para pequeñas y medianas archivos CSV es:

  1. Crear una esencia secreta en gist.github.com y cargar (o copiar y pegar el contenido de) su archivo.
  2. Haga clic en el Raw ver y copiar el URL de archivo en bruto.
  3. Usar la URL copiada como la dirección del archivo cuando se llama pandas.read_csv(URL)

Esto puede o no puede trabajar para la lectura de una línea de archivo de texto por línea o archivos binarios.

Respondida el 19/02/2018 a las 19:59
fuente por usuario

votos
7

Una manera sencilla de importar datos desde su Google Drive - hacer esto salvar a la gente de tiempo (no sé por qué Google simplemente no muestra este paso a paso de forma explícita).

INSTALAR y autenticar PYDRIVE

     !pip install -U -q PyDrive ## you will have install for every colab session

     from pydrive.auth import GoogleAuth
     from pydrive.drive import GoogleDrive
     from google.colab import auth
     from oauth2client.client import GoogleCredentials

     # 1. Authenticate and create the PyDrive client.
     auth.authenticate_user()
     gauth = GoogleAuth()
     gauth.credentials = GoogleCredentials.get_application_default()
     drive = GoogleDrive(gauth)

CARGA

si necesita cargar datos desde una unidad local:

    from google.colab import files

    uploaded = files.upload()

    for fn in uploaded.keys():
       print('User uploaded file "{name}" with length {length} bytes'.format(name=fn, length=len(uploaded[fn])))

ejecutar y esto mostrará un botón Elegir archivo - encontrar el archivo de carga - haga clic en Abrir

Tras la descarga, se mostrará:

    sample_file.json(text/plain) - 11733 bytes, last modified: x/xx/2018 - %100 done
    User uploaded file "sample_file.json" with length 11733 bytes

CREAR ARCHIVO para el cuaderno

Si el archivo de datos ya está en su unidadg, puede omitir este paso.

Ahora bien, es en la unidad de Google. Encontrar el archivo en la unidad de Google y haga clic derecho. Haga clic en Obtener 'vínculo para compartir.' Obtendrá una ventana con:

    https://drive.google.com/open?id=29PGh8XCts3mlMP6zRphvnIcbv27boawn

Copiar - '29PGh8XCts3mlMP6zRphvnIcbv27boawn' - que es el ID de archivo.

En tu cuaderno:

    json_import = drive.CreateFile({'id':'29PGh8XCts3mlMP6zRphvnIcbv27boawn'})

    json_import.GetContentFile('sample.json') - 'sample.json' is the file name that will be accessible in the notebook.

CUADERNO importar datos en

Para importar los datos que se cargan en el ordenador portátil (un archivo JSON en este ejemplo - ¿Cómo se carga dependerá de archivo / tipo de datos - .txt, .csv, etc.):

    sample_uploaded_data = json.load(open('sample.json'))

Ahora se puede imprimir para ver los datos están ahí:

    print(sample_uploaded_data)
Respondida el 20/02/2018 a las 20:58
fuente por usuario

votos
0

Una vez que exportar los datos en una hoja de Google se puede utilizar el método de describir aquí: https://stackoverflow.com/a/48986530/2919826 para cargar de nuevo como pandas trama de datos. El único inconveniente es que sus datos serán públicos, todo el mundo con el enlace será capaz de leerlo.

Respondida el 26/02/2018 a las 07:44
fuente por usuario

votos
2

importación rápida y sencilla de Dropbox:

!pip install dropbox
import dropbox
access_token = 'YOUR_ACCESS_TOKEN_HERE' # https://www.dropbox.com/developers/apps
dbx = dropbox.Dropbox(access_token)

# response = dbx.files_list_folder("")

metadata, res = dbx.files_download('/dataframe.pickle2')

with open('dataframe.pickle2', "wb") as f:
  f.write(res.content)
Respondida el 09/03/2018 a las 17:17
fuente por usuario

votos
6

Subir

from google.colab import files
files.upload()

Descargar

files.download('filename')

directorio de la lista

files.os.listdir()
Respondida el 14/03/2018 a las 07:50