O nome Itaim Bibi provém de uma chácara, um general e um apelido. A história do bairro começou em 1896 quando o General José Vieira de Couto Magalhães adquiriu uma extensão de 120 alqueires, que era propriedade de Bento Ribeiro dos Santos Camargo. Essas terras não tinham muito valor, pois eram inundáveis. Sua função era meramente recreativa para caça e pesca e possuía árvores frutíferas (principalmente a jabuticabeira). Embora não tivesse se casado, o general teve um filho, José Couto de Magalhães com uma índia do Pará.
Em 1898, com a morte do general, seu filho herdou o local, conhecido como Chácara do Itahim. Em 1907, Leopoldo Couto de Magalhães, irmão do general, comprou por 30 contos de réis as terras, fixando residência no lugar.
Bibi (bebê->bibi) era como as escravas chamavam o filho do médico Leopoldo Couto Magalhães, dono da Chácara Itaí (pedra pequena, na grafia arcaica Itahy). A palavra Bibi viria a acompanhar o nome do bairro, antes chamado Rio das Pedras.
O menino cresceu e ficou o seu Bibi. A rua Renato Pais de Barros se chamava rua Bibi, em sua homenagem. A rua João Cachoeira, nome de um escravo da família que, dizem, vivia cantando e contando causos por ali. A sede dessa Chácara Itaí, hoje conhecida como Casa Bandeirista do Itaim, localiza-se no início da atual rua Iguatemi. Tombada pelo Patrimônio Histórico foi, porém, destruída pelos seus atuais proprietários. Antes, por vários anos, foi um sanatório (Casa de Saúde Bela Vista), fundado em 1927 pelo médico Brasílio Marcondes Machado, onde doentes mentais ou dependentes químicos de famílias abastadas se tratavam.
Com o falecimento do Dr. Leopoldo, o local foi dividido entre seus herdeiros. Leopoldo Couto Magalhães Júnior, o Bibi, que era conhecido por possuir um dos primeiros automóveis da região e pelo hábito de usar boné de bico, continuou residindo na casa até a segunda metade da década de 1920.
O filho de Bibi, Dr. Arnaldo Couto de Magalhães foi o responsável pelo loteamento da chácara. Na década de 20, houve o surgimento de pequenos sítios de um hectare, vendidos a italianos vindos da Bela Vista. Eles produziam verduras e legumes para o abastecimento local e dos bairros vizinhos.
As terras foram vendidas e revendidas entre a década de 1920 e a década de 1950 e, com a ocupação da várzea próxima ao rio Pinheiros, propiciou atividade a barqueiros, olarias e portos de areia, que forneciam tijolos e telhas para construções. Para diferenciá-lo do Itaim Paulista, os moradores da região passaram a referir o local como os “terrenos do Bibi”. Atualmente a antiga rua do Porto leva o nome de rua Leopoldo Couto de Magalhães Júnior.
Até a década de 30, a ocupação populacional do Itaim Bibi se restringiu ao quadrilátero formado entre o Rio Pinheiros e as atuais avenidas Nove de Julho, São Gabriel e Juscelino Kubitscheck. Depois dos anos 50, o bairro começou a enfrentar um grande crescimento, causando o desaparecimento de chácaras e sítios.
O saneamento e canalização do Córrego do Sapateiro, na década de 1970, deram origem à Avenida Presidente Juscelino Kubitschek, o que valorizou o bairro. Esgotadas as áreas disponíveis em outros bairros, as imobiliárias voltaram-se então para o Itaim, fundamentalmente pela ausência de restrições impostas pelo loteamento.
Ao lado e em frente aos poderosos bairros dos Jardins e Morumbi, hoje em dia o Itaim Bibi é um bairro nobre. Mas no seu início e até os anos 60–70, era o bairro das empregadas, dos motoristas, verdureiros e pequenos comerciantes em geral. O núcleo inicial do bairro (residências, quitanda, açougue, padaria, farmácia) se modificou progressivamente. O comércio ampliou-se e deixou de servir somente o bairro, passando a atender também outras áreas. O Itaim Bibi perdeu sua característica de bairro popular.
Pessoas de diversos bairros são atraídas para o Itaim Bibi por causa do seu variado comércio e alto padrão de seus restaurantes, tudo isso aliado à facilidade de circulação.