Python: how to start learning?

Many (most?) people that want to start learning Python are confused about where to start. So many options! Motivated by this, I list in this post the references that I used to learn Python (and object-oriented programming as well), which can serve as a starting point for other people. I had scientists in mind when I wrote this post.

Beginner material

Official Python documentation

Learned the basic syntax and capabilities of the language with the official Python tutorial. You can download all of this as PDF files. I suggest this for people with previous programming experience. For absolute beginners, have a look at the Think Python book below.

Computação científica com Python, Fabrício Ferrari (portuguese only)

Introductory lecture about Python, its syntax and science applications. It shows what Python is capable of for data analysis and plotting. Inspiring. The audio is also available for download as a MP3 file.

Using Python for interactive data analysis, Greenfield & Jedrzejewski (STSCI)

Tutorial on using Python for data analysis! How to on how to replace IDL/Matlab with Python, essentially. Includes: plotting, FITS files, signal processing.

Introduction to Programming using Python, Programming Course for Biologists at the Pasteur Institute, Schuerer et al.

I learned object-oriented programming using this material. Very clear and "application-oriented" approach. You don't need to be a biologist to understand this.

Think Python: How to think like a computer scientist

Longer introduction for people with no previous extensive programming experience.

Quick reference

Python data analysis reference card

Reference card: Python commands equivalent to IDL/Matlab ones

Migrating from IDL/Matlab to Python.

IPython quick reference card

If you are going to do serious stuff with Python, I suggest using the enhanced interactive Python terminal IPython.

Longer introductory books

Learning Python, Mark Lutz

A primer on scientific programming with Python, Hans Petter Langtangen

Longer reference books

Python essential reference, David Beazley

Collection of Python-related links

Assessoria Estatística na UFRGS

Durante o nosso trabalho muitas vezes precisamos realizar um tratamento estatístico cuidadoso dos dados para atingir determinados objetivos científicos. Quando trabalhamos com dados astronômicos, surge uma vasta gama de problemas estatísticos: desde regressões lineares até tópicos mais esotéricos como estatística espacial, estatística bayesiana, bootstrapping etc etc (já ouviram falar na astroestatística?).

Infelizmente, muitas vezes falta aos astrônomos o background estatístico necessário para entender os métodos e aplicá-los corretamente! Isto tem levado a algumas iniciativas para melhorar a formação estatística dos astrônomos, por exemplo: INPE Advanced Course on Astrostatistics, Summer School in Statistics for Astronomers.

Recentemente, fiquei sabendo de uma iniciativa muito legal que existe aqui na UFRGS, através do Ângelo. É o Núcleo de Assessoria Estatística (NAE) do Instituto de Matemática. Este núcleo é composto por um grupo de estatísticos que prestam assessoria para a comunidade. Eis uma lista das áreas da estatística abrangidas pelo NAE.

Como funciona o NAE

Suponha que você tenha dúvidas sobre qual o melhor tratamento estatístico que deve ser usado nos seus dados. Ou talvez você já saiba qual técnica estatística empregar mas gostaria de entender melhor o método e sua aplicabilidade. Você pode se dirigir ao NAE ou ligar pra
eles pra agendar uma consulta. Os estatísticos vão analisar o seu problema e lhe prestar a assessoria apropriada.

É cobrada dos alunos de PG a taxa de R$ 30 para a assessoria (é cobrada uma só vez). Em vista dos possíveis insights estatísticos que você pode ter para explorar melhor os seus dados, facilitar o seu trabalho e mesmo poupar tempo, isto me parece um custo irrisório. Há alguns meses tive que me aventurar numa técnica estatística sobre a qual tinha pouco conhecimento, e certamente o NAE teria me ajudado. Infelizmente não o conhecia na época...

Enfim, fica a dica pra vocês!

NAE - Núcleo de Assessoria Estatística

Seminários de AstroProgramação

Ás vezes queremos aprender novas linguagens de programação, mas pela falta de tempo acabamos não conseguindo. Para acelerar o processo de aprendizado, está acontecendo no Departamento de Astronomia da UFRGS os Seminários de AstroProgramação: uma série de palestras informais, cada uma devotada a uma linguagem de programação diferente, com foco nos astrônomos.

A proposta é que a cada semana, um voluntário dê uma palestra a respeito das virtudes da linguagem de programação de sua escolha. Cada palestra deve apresentar um exemplo simples de programa (tipo "hello world"), bem como alguns códigos-fontes um pouco mais sofisticados que demonstrem a sintaxe básica etc. A duração das palestras é semelhante a de um seminário de grupo.

As linguagens abordadas foram: IDL, Perl, Python, C, Fortran 90, PHP, programação orientada a objetos com C++, paralelização (MPI) e Tcl/Tk.

Os slides apresentados nas palestras, bem como material adicional (códigos-fontes etc) estão disponíveis nesta página.



Changelog:

• 23 Abr 2010: adicionei Tcl/Tk à lista.
• 11 Jul 2010: removi OpenMP da lista.

Python \o/

Então, nas ultimas semanas estive envolvido com Python bastante. O motivo disso é que o Dark Energy Survey (DES) adota o python como sua linguagem de frontend. Como eu faço parte do grupo de populações estelares do DES fui obrigado a lidar com Python em diversos níveis. Então vou explicar uma das coisas que tive que desenvolver nesse projeto.

O objetivo desse tuturial é gerar uma carta do céu e identificar certas estrelas nesta carta. O propósito é o planejamento de uma observação astronômica, nesse caso do aglomerado globular NGC 2298. Com essa carta o observador vai saber se o telescópio está apontando na direção que deveria estar apontando. O campo é uma simulação do campo de visão do instrumento MOSAIC2 do telescópio Blanco de 4m.

Bom, vamos ao Python... Para rodar esse programa você vai precisar dos módulos NumPy e PyLab, ambos disponíveis através do repositório Debian/Ubuntu e do módulo APLpy que deve ser instalado manualmente. Além disso para rodar você precisa baixar e descompactar os arquivos específicos para esse problema aqui.

O produto final, se tudo der certo, deve ser algo do tipo:

#!/usr/bin/python
from pylab import *
import aplpy
import numpy as np

Alphabet = map(chr, range(65, 91))   # Capitalized alphabet 

fig = figure(figsize=(10,10))
gc = aplpy.FITSFigure('field.fits',figure=fig, subplot=[0.15,0.1,0.8,0.8])
gc.show_grayscale()
gc.show_grid()
gc.set_grid_alpha(0.2)

# read and plot the GSC stars
f = np.loadtxt('gsc.dat')
ra,dec = f[:,0],f[:,1]
gc.show_markers(ra,dec,edgecolor='red',marker='o',s=50)

#this convert from world coordinates to pixel (canvas) coordinates
newra,newdec = gc.world2pixel(ra+0.025,dec)

#place a tag near each marked point in the image
for i in range(f.shape[0]):
  text(newra[i],newdec[i],Alphabet[i],fontsize=16,color='red')

#save as png
gc.save('findingchart.png')

The International Astronomy Meetings List

This link lists the astronomy meetings that will happen around the world: The International Astronomy Meetings List.

Pretty nice.

The IFU wiki

To the IFU people: The Integral Field Spectroscopy Wiki

"Do you currently work with, or are you thinking about applying for
integral field unit (IFU) observations? If so, then the Integral Field
Spectroscopy wiki is for you."
(via AstroBetter)

IDL for astronomers

I found an interesting blog entry that summarizes the basics of IDL for scientists. I personally think that IDL is much superior, regarding its resources for data analysis and plotting, than programs like Supermongo, Xmgrace (and its flavors), gnuplot and even Origin. The shortcoming is that IDL is not free and quite expensive, but you get what you pay for. I am curious though to learn how Python, supplemented with additional libraries, compares to IDL in this respect.

If you want to learn more about IDL, google for "idl tutorials" and check this guide of IDL for astronomers. The documentation (tutorials) included with IDL are also a nice way to start learning.

In addition, there are some pretty useful IDL libraries for astronomy that I listed.

Nota: a partir de agora vou passar a escrever alguns dos meus posts em inglês. Assim, algumas das informações compartilhadas neste blog poderão ser de utilidade a uma comunidade mais ampla.

O jogo da formação estelar

Descobri um joguinho na internet que ilustra conceitos de formação estelar. O jogo começa com uma nuvem molecular. O objetivo é botar supernovas nos pontos certos, que ao explodirem geram ondas de choque, comprimindo o gás, desencadeando colapso gravitacional e a formação de novas estrelas. Quanto menos supernovas tu explodires, e mais estrelas formares, maior a tua pontuação.

Confiram o jogo aqui. Descobri fuçando o blog Bad Astronomy.

Aparentemente eu sou ruim neste jogo. Não consegui nem 900 pontos... =P

Dicas de programas: Stellarium e Celestia

Pessoal,

Não sei se todos conhecem estes programas: Celestia e Stellarium. São dois programas *gratuitos* para windows/linux/mac. Vale muito a pena baixá-los e instalá-los!

O Celestia é, conforme a sua web page: "The free space simulation that lets you explore our universe in three dimensions". Muito bom pra viajar pelos planetas e estrelas, e até mesmo "sair" da nossa galáxia.

O Stellarium é, conforme a sua web page: "It shows a realistic sky in 3D, just like what you see with the naked eye, binoculars or a telescope. It is being used in planetarium projectors. Just set your coordinates and go. " Ele mostra em tempo real o céu em qualquer lugar do mundo, semelhante a um planetário. Excelente!

Pra quem for auxiliar na Usina do Gasômetro e não tem muita experiência em "ler" o céu (assim como eu), recomendo fortemente brincar com o Stellarium. Muito divertido.

Bom proveito!

P.S. O Rogério sugeriu também o Kstars como alternativa ao Stellarium. Eu pessoalmente prefiro o Stellarium, que é mais "bonito". =)

J-Track 3D

O J-Track 3D é uma representação tridimensional mostrando a posição de cerca de 900 satélites que orbitam a Terra. Pode-se selecionar satélites específicos e observar suas órbitas. Podemos também obter informações como velocidade e altitude. Segue o link:
http://science.nasa.gov/Realtime/jtrack/3d/JTrack3d.html

Colaboração de Guilherme Couto

Simulations Predict Where We Can Find Dark Matter

O Fermi vai "bombar" galera!

==============================

Simulations by the Virgo team show how the Milky Way's halo grew through a series of violent collisions and mergers from millions of much smaller clumps that emerged from the Big Bang. ... If Fermi does detect the predicted emission from the Milky Way's smooth inner halo, then it may, if we are lucky, also see gamma-rays from small (and otherwise invisible) clumps of dark matter which happen to lie particularly close to the Sun. ... The largest simulation took 3.5 million processor hours to complete. Volker Springel was responsible for shepherding the calculation through the machine and said: 'At times I thought it would never finish.' Max Planck Director, Professor Simon White, remarked that 'These calculations finally allow us to see what the dark matter distribution should look like near the Sun where we might stand a chance of detecting it.

Link original.

Via Slashdot.