ごまが日本に伝来した正確な時期については未だ明確な記録は残っていませんが、現在の考古学的・文献学的な知見に基づくと、縄文時代後期（紀元前1000年頃）にはすでに利用されていた可能性が高いとされています。この時代の遺跡から、ごまの種子が出土しており、縄文人がごまを何らかの形で利用していたことがうかがえます。ただし、当時はまだ文字が存在せず、ごまがどのように使われていたのか、栽培されていたのか、あるいは輸入品だったのかは明らかではありません。

おそらく、農耕技術や文化が朝鮮半島・中国大陸から流入した時期と重なって、ごまもその一環として日本に伝えられたと考えられています。特に、稲作が伝来した縄文時代後期〜弥生時代初期（紀元前1000〜紀元前300年頃）にかけては、農業技術と共に多くの栽培植物が渡来しており、ごまもそのひとつだったと推定されます。

ごまに関する初めての文献記録は、奈良時代（8世紀）になってから見られるようになります。中でも代表的なのが、正倉院文書と『延喜式（えんぎしき）』です。正倉院文書には、尾張国（現在の愛知県）や豊後国（現在の大分県）でごまが栽培されていたという記録が残されています。また『延喜式』（927年成立）では、ごまが「薬物」として記載されており、当時は単なる食材ではなく、薬効を期待される特別な植物として扱われていたことがわかります。

さらに興味深いのは、遣唐使が中国から練りごまを「薬」として持ち帰ったとされる記録です。これは、中国での薬用知識が日本に伝来し、ごまが薬用植物として輸入された事例を示しています。この時代のごまは、高級薬や貴族階級の食材として位置づけられており、一般庶民が日常的に使用できるものではありませんでした。ごまの流通や取引には中央政府の管理が及んでいたと考えられ、正倉院などの公的記録に限定的な記述しか残されていないのは、こうした背景があるためと見られます。

また、仏教の伝来と共に精進料理が広まると、肉を避ける食生活の中で、植物性の油やたんぱく質源としてごまの価値はさらに高まりました。特に平安時代以降、寺院を中心にごま油が調理や灯明用として使われるようになり、ごまの用途は食用・薬用に加えて宗教的な面でも広がりを見せました。